[論文レビュー] From Patch to Image Segmentation using Fully Convolutional Networks -- Application to Retinal Images

Taibou Birgui Sekou, Moncef Hidane+2 more|arXiv (Cornell University)|Apr 8, 2019

Retinal Imaging and AnalysisMedicine参考文献 39被引用数 22

ひとこと要約

この論文は、小規模なデータセットにおける網膜画像分類の最先端性能を達成するために、完全畳み込みネットワーク（FCN）を用いてパッチベースの事前学習と画像レベルの微調整を組み合わせる新しいトレーニングフレームワークを提案する。まずパッチでネットワークを学習し、その後その知識を画像レベルのネットワークに転送することで、任意のネットワークアーキテクチャを可能にし、最小限のデータで高い性能を達成する。4つの公的網膜データベースを用いた検証において、軽量で標準的、および密接接続されたネットワークを用いて、高い性能を発揮した。

ABSTRACT

Deep learning based models, generally, require a large number of samples for appropriate training, a requirement that is difficult to satisfy in the medical field. This issue can usually be avoided with a proper initialization of the weights. On the task of medical image segmentation in general, two techniques are oftentimes employed to tackle the training of a deep network $f_T$. The first one consists in reusing some weights of a network $f_S$ pre-trained on a large scale database ($e.g.$ ImageNet). This procedure, also known as $transfer$ $learning$, happens to reduce the flexibility when it comes to new network design since $f_T$ is constrained to match some parts of $f_S$. The second commonly used technique consists in working on image patches to benefit from the large number of available patches. This paper brings together these two techniques and propose to train $arbitrarily$ $designed$ $networks$ that segment an image in one forward pass, with a focus on relatively small databases. An experimental work have been carried out on the tasks of retinal blood vessel segmentation and the optic disc one, using four publicly available databases. Furthermore, three types of network are considered, going from a very light weighted network to a densely connected one. The final results show the efficiency of the proposed framework along with state of the art results on all the databases.

研究の動機と目的

• 深層ネットワークを用いた網膜画像分類のトレーニングにおいて、注釈付き医療画像データが限られているという課題に対処すること。
• ImageNetのような事前学習モデルからの重み再利用によってネットワーク設計が制限される標準的な転移学習の限界を克服すること。
• 任意のネットワークアーキテクチャ設計を可能にしつつ、小規模な医療データセットでも高い性能を維持できる柔軟なトレーニングフレームワークを開発すること。
• パッチベースの事前学習後に画像レベルの推論を用いて文脈的情報を活用することで、分類マップの正確性と頑健性を向上させること。
• 1回の順方向プロパゲーションで全画像を処理するネットワークをトレーニングすることで、リアルタイムかつエンドツーエンドの分類を可能にすること。

提案手法

• フレームワークは、まず網膜画像から抽出した小さな画像パッチを用いて、パッチ対パッチ分類アプローチで完全畳み込みネットワーク（FCN）をトレーニングする。
• パッチでの事前学習後、学習された特徴が、全画像推論を目的とした新しい、より大きなFCNアーキテクチャに転送される。
• 画像レベルのネットワークは、事前学習済みパッチネットワークのエンコーダ重みで初期化され、アーキテクチャ的制約なしに効果的な特徴転送が可能になる。
• 画像レベルのネットワークは、交差エントロピー損失またはDice損失を用いた標準的な教師あり学習により、全サイズの画像上でエンドツーエンドで微調整される。
• 事前学習と最終ネットワーク設計を分離することで、軽量から密接接続まで多様なネットワークアーキテクチャのサポートが可能になる。
• メモリ使用量の削減と数値的安定性の向上を目的に、トレーニング中にリサイズ処理が適用され、性能への影響は最小限に抑えられる。

実験結果

リサーチクエスチョン

• RQ1 パッチベースの事前学習戦略と画像レベルの微調整を組み合わせることで、限られたトレーニングデータにおいて網膜画像分類で最先端の性能を達成できるか？
• RQ2 提案されたフレームワークは、事前学習済みImageNet重みの制約を受けずに、任意に設計されたFCNアーキテクチャの使用を可能にするか？
• RQ3 小規模な網膜画像データベースにおいて、パッチから画像への転送フレームワークの性能は、トレーニングから開始する方法や標準的な転移学習と比べてどうか？
• RQ4 パッチベース推論と比較して、このフレームワークは文脈的情報をどれほど保持し、境界アーチファクトをどれほど低減できるか？
• RQ5 このフレームワークは、複数の公的データベースにおける赤血球球や視神経乳頭分類など、多様な網膜画像タスクに効果的に適用可能か？

主な発見

• 提案されたフレームワークは、4つの公的網膜画像データベース（DRIVE、STARE、CHASE_DB1、IDRiD）において最先端の性能を達成した。
• パッチベースの集約と比較して、分類推論時間を顕著に短縮した。Denseネットワークを用いたDRIVEデータセットでは、平均して0.24秒で画像レベル推論が完了した。
• 凍結転送後の微調整により、分類品質が向上し、定量的結果で誤検出が減少し、境界予測が強化された。
• メモリ効率を高めるために画像リサイズを適用しても、性能が著しく低下せず、前処理ステップへの耐性を示した。
• 特にデータが少ない状況下でも、パッチレベル学習からの効果的な特徴転送のおかげで、トレーニングから開始する方法や標準的な転移学習を上回った。
• ソースコードは https://github.com/Taib/patch2image で公開されており、再現性とさらなる研究を可能にしている。