[論文レビュー] Less is More: Simultaneous View Classification and Landmark Detection for Abdominal Ultrasound Images

Zhoubing Xu, Yuankai Huo+5 more|arXiv (Cornell University)|May 25, 2018

Radiomics and Machine Learning in Medical Imaging参考文献 11被引用数 7

ひとこと要約

本論文は、1つの畳み込みニューラルネットワークを用いて同時に腹部超音波画像のビュー分類と臓器ランドマーク検出を実行する統合的でマルチタスクな深層学習フレームワークを提案する。グローバル畳み込みカーネル、座標制約、および条件付き対抗モジュールを活用している。187,219枚の画像で評価された結果、視覚分類の正確さは熟練医師間の合意水準を超えており、ランドマークに基づく測定誤差は人間の被験者間変動と同等の水準に達した。

ABSTRACT

An abdominal ultrasound examination, which is the most common ultrasound examination, requires substantial manual efforts to acquire standard abdominal organ views, annotate the views in texts, and record clinically relevant organ measurements. Hence, automatic view classification and landmark detection of the organs can be instrumental to streamline the examination workflow. However, this is a challenging problem given not only the inherent difficulties from the ultrasound modality, e.g., low contrast and large variations, but also the heterogeneity across tasks, i.e., one classification task for all views, and then one landmark detection task for each relevant view. While convolutional neural networks (CNN) have demonstrated more promising outcomes on ultrasound image analytics than traditional machine learning approaches, it becomes impractical to deploy multiple networks (one for each task) due to the limited computational and memory resources on most existing ultrasound scanners. To overcome such limits, we propose a multi-task learning framework to handle all the tasks by a single network. This network is integrated to perform view classification and landmark detection simultaneously; it is also equipped with global convolutional kernels, coordinate constraints, and a conditional adversarial module to leverage the performances. In an experimental study based on 187,219 ultrasound images, with the proposed simplified approach we achieve (1) view classification accuracy better than the agreement between two clinical experts and (2) landmark-based measurement errors on par with inter-user variability. The multi-task approach also benefits from sharing the feature extraction during the training process across all tasks and, as a result, outperforms the approaches that address each task individually.

研究の動機と目的

• 腹部超音波検査ワークフローの自動化に向け、手作業によるアノテーションと測定作業の負荷を軽減すること。
• 超音波スキャナに複数の深層学習モデルをデプロイする際の計算リソースおよびメモリ制限を克服すること。
• タスク間で共有される特徴を同時に学習することで、ビュー分類およびランドマーク検出の性能を向上させること。
• ビュー分類において臨床的水準の正確さを達成し、測定誤差を人間の被験者間変動と同等の水準に抑えること。
• 個々のタスクに特化したモデルを上回る性能を示す、軽量で単一ネットワークのソリューションを開発すること。

提案手法

• 1つの深層ニューラルネットワークを用いて、同時にビュー分類とランドマーク検出を実行するマルチタスク学習フレームワークを設計した。
• グローバル畳み込みカーネルを統合し、両タスクにおける画像全体の特徴表現を強化した。
• ランドマーク予測の正則化として座標制約を適用し、解剖学的に妥当な空間的位置を保証した。
• 特徴の分離性とドメイン一般化を向上させるために、条件付き対抗モジュールを導入した。
• タスク間での共有特徴抽出により、トレーニング中のパラメータ効率性と一般化性能が向上した。
• 187,219枚の腹部超音波画像からなる大規模データセットを用いて、エンドツーエンドでモデルを訓練した。

実験結果

リサーチクエスチョン

• RQ1 1つの深層ニューラルネットワークが、腹部超音波画像においてビュー分類とランドマーク検出の両方を効果的に行えるか？
• RQ2 異種のタスク間で共同学習を行うことで、個別にモデルを学習するのと比較して性能が向上するか？
• RQ3 提案されたアーキテクチャは、熟練医師間の合意水準を超える臨床的水準のビュー分類正確さを達成できるか？
• RQ4 ランドマーク検出誤差は、人間の被験者間変動と同等の水準にまで低減できるか？
• RQ5 グローバル畳み込みカーネルと座標制約の使用が、局在化および分類性能を向上させるか？

主な発見

• 提案されたマルチタスクモデルは、2名の臨床的専門医間の合意水準を超えるビュー分類正確さを達成した。
• ランドマークに基づく測定誤差は、放射線科医間の被験者間変動と同等の水準に達した。
• タスク間での共有特徴学習により、個別にモデルを学習する場合と比較して、一般化性能と性能が向上した。
• グローバル畳み込みカーネルと座標制約の統合により、局在化正確さとモデルのロバスト性が顕著に向上した。
• 条件付き対抗モジュールは、特徴の分離性を改善し、難易度の高いケースにおける性能向上に寄与した。
• 単一ネットワークアーキテクチャは、リソース制限のある超音波スキャナへのデプロイに適した計算効率性を示した。