[論文レビュー] Unsupervised Learning for Large-Scale Fiber Detection and Tracking in Microscopic Material Images

Hongkai Yu, Dazhou Guo+5 more|arXiv (Cornell University)|May 25, 2018

Video Surveillance and Tracking Methods参考文献 24被引用数 7

ひとこと要約

本論文は、ファイバーの形状・サイズに関する事前知識と、トラッキングにおける空間的・時間的整合性を活用して、Faster R-CNNの学習中に教師あり学習を模倣する、大規模な繊維検出およびトラッキングのための教師なし深層学習手法を提案する。本手法は、手動アノテーションを一切用いず、検出で99％近いF-measure、トラッキングで99％のMOTAを達成した。

ABSTRACT

Constructing 3D structures from serial section data is a long standing problem in microscopy. The structure of a fiber reinforced composite material can be reconstructed using a tracking-by-detection model. Tracking-by-detection algorithms rely heavily on detection accuracy, especially the recall performance. The state-of-the-art fiber detection algorithms perform well under ideal conditions, but are not accurate where there are local degradations of image quality, due to contaminants on the material surface and/or defocus blur. Convolutional Neural Networks (CNN) could be used for this problem, but would require a large number of manual annotated fibers, which are not available. We propose an unsupervised learning method to accurately detect fibers on the large scale, that is robust against local degradations of image quality. The proposed method does not require manual annotations, but uses fiber shape/size priors and spatio-temporal consistency in tracking to simulate the supervision in the training of the CNN. Experiments show significant improvements over state-of-the-art fiber detection algorithms together with advanced tracking performance.

研究の動機と目的

• ぼやけや染色による画像品質の局所的劣化が生じる大規模な顕微鏡的材料画像において、正確な繊維検出の課題に対処すること。
• 現在の最先端の教師あり手法が膨大な手動アノテーションを必要としているという制限を克服し、大規模データセットに対して現実的でないアノテーション作業を回避すること。
• 空間的・時間的整合性と幾何的事前知識を活用することで、検出とトラッキングの精度を向上させる完全な教師なし学習フレームワークを構築すること。
• 既存手法がセグメンテーションや楕円フィッティングに失敗するほど品質が劣化した画像領域においても、頑健な繊維検出とトラッキングを可能にすること。

提案手法

• 時間的整合性を活用して、複数の反復ステップでFaster R-CNNの推論と繊維トラッキングを交互に実行し、検出結果を精緻化する。
• 楕円形の形状的特徴（例：楕円型の形状）などの繊維の形状・サイズの事前知識を用い、真のラベルが存在しない状況下でも検出予測を制約・誘導する。
• トラッキングにおける空間的・時間的整合性を活用して、教師あり学習を模倣する：品質が劣化した領域における誤検出（FN）は軌道の連続性により回復され、誤検出（FP）はトラッキングの整合性により除去される。
• 初期化に教師なしベースライン（EMMPM または EdgeBox）を用い、トラッキングから生成された仮ラベルを用いたエンドツーエンド学習により、反復的に検出精度を向上させる。
• トラッキングから得られた予測バウンディングボックスを仮の教師信号として用い、複数の反復ステップで損失関数を最適化することで、Faster R-CNNモデルを教師なしで学習する。
• 最終的に訓練されたモデルを、3つの異なるデータセットの新しい画像に適用し、手動アノテーションを一切用いず、高い性能を達成する。

実験結果

リサーチクエスチョン

• RQ1 教師なし深層学習手法は、手動アノテーションを一切用いず、大規模な顕微鏡的材料画像において高精度な繊維検出を達成できるか？
• RQ2 空間的・時間的整合性と幾何的事前知識を統合することで、局所的な画像劣化下でも検出のロバスト性がどの程度向上するか？
• RQ3 検出とトラッキングの間で反復的精緻化を実施することで、繊維検出およびトラッキングの両方の性能がどの程度向上するか？
• RQ4 提案手法は、F-measureおよびMOTAなどのトラッキング指標において、最先端の教師ありおよび教師なし繊維検出手法を上回ることができるか？

主な発見

• 提案手法は、3つの独立したデータセットでほぼ99％のF-measureを達成し、最先端手法 [32] やベースラインの EMMPMH より顕著に優れた性能を示した。
• EMMPMH を初期化として用いた場合、4回の反復後には99.3％のMOTAを達成し、強力なトラッキングのロバスト性を示した。
• 反復の度に検出性能が段階的に向上し、3〜4回の反復で収束し、精度、再現率、F-measureのすべてで一貫した向上が見られた。
• 手動アノテーションが一切不要な状況下でも、EdgeBox を初期化として用いることで、95.2％の再現率と94.6％のMOTAを達成し、劣化した領域およびクリアな領域の両方で優れた汎化性能を示した。
• より優れた初期化（EMMPMH と EdgeBox の比較）を採用することで、トラッキング性能が顕著に向上し、最終反復でIDスイッチが47回からわずか4回に減少した。
• 本手法は、軌道の連続性を活用することで、ぼやけた領域や染色された領域における誤検出（FN）を効果的に回復する一方で、トラッキングの整合性により誤検出（FP）を抑制した。