[論文レビュー] Recent Advances in the Applications of Convolutional Neural Networks to Medical Image Contour Detection

Zizhao Zhang, Fuyong Xing+3 more|arXiv (Cornell University)|Aug 24, 2017

Medical Image Segmentation Techniques参考文献 197被引用数 11

ひとこと要約

この論文は、医用画像の輪郭検出に畳み込みニューラルネットワーク（CNNs）を用いる最近の進展をレビューし、従来の手法よりもエッジおよび輪郭の正確性を向上させるエンド・ツー・エンドのディープラーニングアーキテクチャに焦点を当てる。エッジの不連続性、限られた医用データ、形状制約といった主な課題を特定し、トランスファーラーニング、マルチスケール特徴の統合、形状の事前知識を用いた解決策を提案することで、臨床的画像処理におけるセグメンテーション性能を顕著に向上させている。

ABSTRACT

The fast growing deep learning technologies have become the main solution of many machine learning problems for medical image analysis. Deep convolution neural networks (CNNs), as one of the most important branch of the deep learning family, have been widely investigated for various computer-aided diagnosis tasks including long-term problems and continuously emerging new problems. Image contour detection is a fundamental but challenging task that has been studied for more than four decades. Recently, we have witnessed the significantly improved performance of contour detection thanks to the development of CNNs. Beyond purusing performance in existing natural image benchmarks, contour detection plays a particularly important role in medical image analysis. Segmenting various objects from radiology images or pathology images requires accurate detection of contours. However, some problems, such as discontinuity and shape constraints, are insufficiently studied in CNNs. It is necessary to clarify the challenges to encourage further exploration. The performance of CNN based contour detection relies on the state-of-the-art CNN architectures. Careful investigation of their design principles and motivations is critical and beneficial to contour detection. In this paper, we first review recent development of medical image contour detection and point out the current confronting challenges and problems. We discuss the development of general CNNs and their applications in image contours (or edges) detection. We compare those methods in detail, clarify their strengthens and weaknesses. Then we review their recent applications in medical image analysis and point out limitations, with the goal to light some potential directions in medical image analysis. We expect the paper to cover comprehensive technical ingredients of advanced CNNs to enrich the study in the medical image domain.

研究の動機と目的

• 医用画像におけるCNNベースの輪郭検出の現在の最先端状態を分析すること。
• 医用画像におけるエッジの不連続性、ラベル付きデータの不足、形状の不一致といった継続的な課題を特定すること。
• ディープラーニングアーキテクチャおよびトレーニング戦略が輪郭検出性能を向上させる役割を評価すること。
• 形状の事前知識、トランスファーラーニング、マルチスケール特徴学習を医用輪郭検出に統合するための技術的アプローチを提案すること。
• 一般コンピュータビジョン分野の進展と医用画像解析への応用との間のギャップを埋めること。

提案手法

• パッチベースの推論に代わって、全画像処理を可能にするエンド・ツー・エンドのCNNを用いて、密度的なピクセル単位の輪郭マップ予測を実現する。
• 自然画像データセットで事前学習されたCNNを微調整することで、医用トレーニングデータが限られる状況を補うトランスファーラーニングを採用する。
• 浅い層と深い層を接続することでマルチスケール特徴の統合を実現し、エッジ検出性能を向上させるとともに、微細なディテールを保持する。
• 損失関数や構造的出力予測を用いて形状の事前知識を統合することで、輪郭の連続性を維持する。
• 長距離依存性をモデル化することで、断片的で不完全な輪郭を再構築する可能性を示す、再帰的ニューラルネットワーク（RNNs）および高度なメモリネットワークの利用を検討する。
• 深層部の訓練安定性と特徴学習を向上させるために、ディープスーパーバイズのメカニズムを提案する。

実験結果

リサーチクエスチョン

• RQ1 エンド・ツー・エンドのCNNは、医用画像における従来のパッチベース手法と比較して、どのように輪郭検出性能を向上させるか？
• RQ2 標準的なCNNが、医用画像における不連続または重複する輪郭を検出する際の主な制限要因は何か？
• RQ3 自然画像データセットからのトランスファーラーニングは、データが少ない医用画像処理の状況で、どの程度輪郭検出性能を向上させるか？
• RQ4 形状の事前知識をCNNトレーニングに効果的に統合する方法は何か？ これにより、輪郭の連続性と構造的妥当性がどのように向上するか？
• RQ5 マルチスケールおよびスイープ接続アーキテクチャは、医用画像の輪郭検出において、微細なエッジディテールをどのように保持するか？

主な発見

• エンド・ツー・エンドのCNNは、医用画像の輪郭検出精度において、従来のCNNでさえも、人間のアノテーターを上回る顕著な性能を示している。
• 自然画像データセットからのトランスファーラーニングは、医用データが限られる状況で性能を向上させ、特に初期層における共有された低レベル特徴を活用することで有効である。
• マルチスケール特徴の統合、特に浅い層と深い層の間のスイープ接続は、微細なエッジの検出を向上させ、輪郭の連続性を改善する。
• RNNやメモリネットワークは、エッジシーケンス内の長距離依存性をモデル化することで、破損したまたは不完全な輪郭の再構築において有望な結果を示している。
• 損失関数や構造的出力層に形状の事前知識を統合することで、解剖学的妥当性が維持され、セグメンテーション誤差が低減される。
• 進展は見られるが、重複する細胞、SNRが低い画像、限られたアノテーションといった課題は依然として残っており、弱教師あり学習および少数のサンプルでの学習に関するさらなる研究が求められる。