[論文レビュー] Going to Extremes: Weakly Supervised Medical Image Segmentation

Holger R. Roth, Dong Yang+3 more|arXiv (Cornell University)|Sep 25, 2020

Advanced Neural Network Applications参考文献 3被引用数 4

ひとこと要約

本稿では、1つの解剖的次元あたり1回の極端な点クリック（極点クリック）という最小限のユーザー入力を用いて、弱教師付き3次元医療画像セグメンテーション手法を提案する。初期のノイズの多いセグメンテーションはランダムウォーカー法を用いて生成され、その後、ポイントベースの損失関数およびアテンションメカニズムを統合した完全畳み込みネットワーク（FCN）を繰り返し訓練することで精錬される。6つの多様な医療画像処理タスクにおいて、完全教師あり手法に近い性能を達成しており、特にMO-Gallbladderデータセットでは完全教師あり手法を上回る結果を示した。

ABSTRACT

Medical image annotation is a major hurdle for developing precise and robust machine learning models. Annotation is expensive, time-consuming, and often requires expert knowledge, particularly in the medical field. Here, we suggest using minimal user interaction in the form of extreme point clicks to train a segmentation model which, in effect, can be used to speed up medical image annotation. An initial segmentation is generated based on the extreme points utilizing the random walker algorithm. This initial segmentation is then used as a noisy supervision signal to train a fully convolutional network that can segment the organ of interest, based on the provided user clicks. Through experimentation on several medical imaging datasets, we show that the predictions of the network can be refined using several rounds of training with the prediction from the same weakly annotated data. Further improvements are shown utilizing the clicked points within a custom-designed loss and attention mechanism. Our approach has the potential to speed up the process of generating new training datasets for the development of new machine learning and deep learning-based models for, but not exclusively, medical image analysis.

研究の動機と目的

• 臓器の境界上での極点クリックのみを用いて、医療画像のアノテーションコストと複雑さを低減すること。
• 最小限のユーザー入力に基づいて正確な3次元セグメンテーションモデルを学習可能な弱教師付き学習フレームワークを開発すること。
• 弱教師ありデータからの予測の繰り返し精錬を用いて、セグメンテーション性能を向上させること。
• ラベル付けの負担を増さずに、ユーザーが提供する極点情報を損失関数およびアテンションメカニズムに統合し、ネットワーク学習をガイドすること。
• 多様な3次元医療画像処理タスクにおいて本手法の性能を評価し、完全教師ありおよび先行の弱教師ありアプローチと比較すること。

提案手法

• 本手法は、ユーザーが3次元医療画像の各空間次元（例：左端、右端、前側、後側、上側、下側）に対して1回ずつ極点クリックを定義することから始まる。
• 極点に適用されたランダムウォーカー法を用いて初期セグメンテーションが生成され、ノイズの多い偽ラベルが得られる。
• この偽ラベルを用いて、臓器セグメンテーションを目的とした完全畳み込みネットワーク（FCN）の訓練が行われる。
• ネットワークは繰り返し訓練され、前回ラウンドの自身の予測結果を新たな弱教師あり信号として使用する。
• 空間座標を直接損失関数に組み込むことで、ネットワークの学習をガイドする新規のポイントベース損失関数が導入される。
• 極点の位置を用いて特徴マップを調整するアテンションメカニズムが導入され、関連領域への注目を強化する。

実験結果

リサーチクエスチョン

• RQ1 密なアノテーションを一切用いずに、極点クリックのみで高精度な3次元医療画像セグメンテーションモデルを学習可能であるか？
• RQ2 モデル自身の予測結果を用いた繰り返し精錬は、複数の訓練ラウンドにわたってどのようにセグメンテーション性能を向上させるか？
• RQ3 損失関数およびアテンションメカニズムに極点情報を統合することで、標準的な弱教師ありベースラインと比較して、どの程度モデル性能が向上するか？
• RQ4 本手法は、実世界の医療画像処理タスクにおいて、完全教師あり学習と同等またはそれ以上の性能を達成できるか？
• RQ5 形状、テクスチャ、複雑さが異なる多様な解剖的構造に対して、本手法はどの程度頑健であるか？

主な発見

• 提案手法は6つの医療画像処理タスクのうち4つにおいて、完全教師あり学習に近い性能を達成し、最小限のユーザー入力からの強力な一般化能力を示した。
• MO-Gallbladderデータセットでは、弱教師ありモデルが完全教師ありベースラインを上回り、Diceスコア0.874を達成したのに対し、完全教師ありモデルは0.862であった。
• ポイントベース損失関数とアテンションメカニズムの両方を追加することで、6つのタスクのうち4つで性能が向上し、特に形状が複雑または不規則な臓器で顕著な向上が見られた。
• 繰り返し訓練スキームは、すべてのデータセットで一貫してセグメンテーション精度を向上させ、同じ弱教師ありアノテーションデータを用いても複数ラウンドにわたって性能が向上した。
• ランダムウォーカー初期化は、高密度なテクスチャや複雑な幾何構造（例：膵臓）を有するケースでも、堅牢な初期セグメンテーションを提供した。
• 1つの3次元ボリュームあたり6回のポイントクリックのみを要するため、密なスクラッチや完全なセグメンテーションに比べて、アノテーションコストを顕著に削減した。