[論文レビュー] Shadow Detection for Ultrasound Images Using Unlabeled Data and Synthetic Shadows

Suguru Yasutomi, Tatsuya Arakaki+1 more|arXiv (Cornell University)|Aug 5, 2019

Generative Adversarial Networks and Image Synthesis参考文献 8被引用数 6

ひとこと要約

本論文は、ラベルなしデータと合成シャドウを用いて、自己教師ありシャドウ検出手法を超音波画像に対して提案する。制限付きオートエンコーダー構造を用い、シャドウとコンテンツの分離再構成を実現する。本手法は、ラベルなしの胎児心臓超音波画像データにおいて、0.340のIoUと0.492のDICEを達成し、アノテーションラベルを一切使用しないにもかかわらず、教師ありベースラインを上回る最先端の性能を示した。

ABSTRACT

Medical ultrasound is widely used technique for diagnosing internal organs. As common artifacts, shadows often appear in ultrasound images. Detecting such shadows is curious because they prevent accurate diagnosis. In this paper, we propose a novel shadow detection method based on auto-encoding structure. It once separates an input image into a shadow image and a content image using two decoders and combines them to reconstruct the input. To lead the network into separating the input, we inject synthetic shadows into the input and make the network to predict them as the shadow image. Since we know the rough shape of shadows as basic domain knowledge, we can generate plausible shadows. These processes are achieved by using only unlabeled data. Experiments on ultrasound images for fetal heart diagnosis shows the effectiveness of the method.

研究の動機と目的

• 超音波画像におけるシャドウ干渉の問題に対処すること。これは、診断の正確性と画像認識性能を低下させる。
• トレーニングに高価なピクセル単位のアノテーションを必要としないシャドウ検出手法を開発すること。
• 合成シャドウとラベルなしデータを用いることで、ドメイン特化の最小限の監視のもとでディープラーニングの特徴抽出能力を活用すること。
• アノテート済みデータが乏しい低リソース環境でも効果的なシャドウ検出を可能にすること。
• 異なるプローブや臓器を含む多様な超音波画像シナリオにおいて、より強固な性能を発揮すること。

提案手法

• 本手法は、共有エンコーダーと2つのデコーダー（シャドウコンテンツ予測用の$D_s$ とシャドウなしコンテンツ再構成用の$D_c$）を備えた制限付きオートエンコーダーを採用する。
• 入力画像は、要素ごとの乗算（$\tilde{x} = x \circ x_s$）により合成シャドウで拡張され、$x_s$ は骨由来シャドウの妥当なパターンを表すルールベースの輪状セクタである。
• ネットワークは、全画像に対する平均二乗誤差（MSE）損失を用いて、入力画像の再構成 $\hat{x} = \hat{x}_s \circ \hat{x}_c$ を行う。
• 合成シャドウ領域にのみ、特別な損失 $l_s$ を適用し、シャドウ位置の正確な予測を保証する。
• 予測シャドウがしすぎず暗くなるのを防ぐために、$l_{\text{sreg}}$ による正則化が施され、$\hat{x}_c$ の現実的なコンテンツ分布を強制するためのベータ分布NLL損失 $l_c$ が適用される。
• 総損失は、再構成、シャドウ予測、正則化、コンテンツの現実性を組み合わせたものであり、$l = \lambda_{\text{AE}} l_{\text{AE}} + \lambda_s l_s + \lambda_{\text{sreg}} l_{\text{sreg}} + \lambda_c l_c$ で表される。

実験結果

リサーチクエスチョン

• RQ1 ピクセル単位のアノテーションが一切ない状況でも、超音波画像におけるシャドウ検出を効果的に学習可能か？
• RQ2 合成シャドウを用いた自己教師あり手法は、実際の超音波画像に十分に一般化可能か？
• RQ3 共有エンコーディングを有する分離可能なオートエンコーダー構造は、超音波画像においてシャドウとコンテンツを効果的に分離可能か？
• RQ4 ドメイン特化の知識（例：合成シャドウパターン）を組み込むことで、最小限の監視のもとで検出性能が向上するか？
• RQ5 限られたアノテート済みデータしか利用できない状況で、本手法は完全に教師ありアプローチと比較してどうなるか？

主な発見

• 本手法は、テストデータにおいて、交差領域（IoU）が0.340 ± 0.132、Dice係数が0.492 ± 0.161を達成し、ベースラインのしきい値法（IoU: 0.229 ± 0.105）を上回った。
• 教師ありのSegNetベースライン（IoU: 0.338 ± 0.150）をわずかに上回り、限られたアノテーションでも有効性を示した。
• 定性的な結果から、本モデルはさまざまな胎児心臓超音波画像において多様なシャドウパターンを効果的に検出できた。
• トレーニング時に真のアノテーションラベルを一切使用しなかったにもかかわらず、多様なシャドウ外観を示す実世界の超音波画像に対しても良好に一般化した。
• 一部の状況では、暗い解剖的構造（例：羊水、心室腔）が誤ってシャドウと分類されたことがあり、低強度特徴と真のシャドウの区別に限界があることが示された。
• 損失部品のアブレーション解析により、ベータ分布NLLとシャドウ正則化が再構成品質と検出精度の向上に重要であることが確認された。