[論文レビュー] More unlabelled data or label more data? A study on semi-supervised laparoscopic image segmentation

Yunguan Fu, Maria Robu+7 more|arXiv (Cornell University)|Aug 20, 2019

Advanced Neural Network Applications参考文献 8被引用数 4

ひとこと要約

本研究では、平均教師フレームワークを用いて、腹腔鏡的肝塞入分類における半教師あり学習を評価し、ラベルなしデータを追加することで、より多くのデータをラベル付けする場合と同等の分類精度を達成できることを示している。定量的に、ラベルなしデータを用いた半教師あり学習が、追加のラベルなしで教師あり学習を上回る性能向上をもたらすことを示しており、臨床的データ効率の実用的トレードオフを提供している。

ABSTRACT

Improving a semi-supervised image segmentation task has the option of adding more unlabelled images, labelling the unlabelled images or combining both, as neither image acquisition nor expert labelling can be considered trivial in most clinical applications. With a laparoscopic liver image segmentation application, we investigate the performance impact by altering the quantities of labelled and unlabelled training data, using a semi-supervised segmentation algorithm based on the mean teacher learning paradigm. We first report a significantly higher segmentation accuracy, compared with supervised learning. Interestingly, this comparison reveals that the training strategy adopted in the semi-supervised algorithm is also responsible for this observed improvement, in addition to the added unlabelled data. We then compare different combinations of labelled and unlabelled data set sizes for training semi-supervised segmentation networks, to provide a quantitative example of the practically useful trade-off between the two data planning strategies in this surgical guidance application.

研究の動機と目的

• ラベル付きデータとラベルなしデータの増加が、半教師あり腹腔鏡的肝塞入分類性能に与える影響を評価すること。
• 平均教師トレーニング戦略の貢献が、ラベルなしデータの追加による効果とは独立してどの程度であるかを分離すること。
• 臨床的半教師あり学習応用におけるデータ計画意思決定の定量的根拠を提供すること。
• 実際の外科的画像診断環境において、ラベルなしデータがより多くのラベル付きデータをラベル付けすることと同等の性能を達成できるかどうかを評価すること。

提案手法

• 二値分類のための $L_2$-正則化付きソフトディスク損失を用いた、マルチスケール入力ピラミッドを備えたU-Netベースのセグメンテーションネットワーク。
• 同じネットワークを2つ用いた平均教師フレームワーク：学習可能な重みを持つ学生と、モーメンタム更新された重みを持つ教師。
• ラベル付きデータに対する教師あり損失 $L_l$ と、ラベルなしデータにおける学生と教師の予測の間の一貫性損失 $L_u$ を組み合わせた損失関数を、ハイパーパrameter $\lambda$ でバランス調整。
• バックプロパゲーションを用いて、合計損失 $L_s = L_l + \lambda L_u$ を用いて学生ネットワークをトレーニング。ここで $L_u$ は、同じラベルなし入力の異なる摂動されたビュー間の予測不一致をペナルティとして課す。
• 一貫性正則化のため、ランダムノイズの注入 ($\eta$) を用いたデータオーグメンテーションにより、多様なビューを生成。
• 独立したテストセットを用いて、ラベル付きおよびラベルなしデータサイズのさまざまな組み合わせにおける性能を、Diceスコアおよびハウスドルフ距離で評価。

実験結果

リサーチクエスチョン

• RQ1 平均教師フレームワークを用いた半教師あり学習は、教師あり学習と比較して腹腔鏡的肝塞入分類の精度を向上させるか？
• RQ2 平均教師法のトレーニング戦略は、ラベルなしデータの追加による効果を超えて、どの程度性能向上に寄与しているか？
• RQ3 セグメンテーション性能という観点から、より多くのラベル付きデータを取得するのと、より多くのラベルなしデータを取得するのとの間の定量的トレードオフは何か？
• RQ4 大量のラベルなしデータでトレーニングされた半教師ありモデルは、より多くのラベル付きデータでトレーニングされた教師ありモデルの性能を、同等または上回ることができるか？

主な発見

• 平均教師モデルは中央値Diceスコア0.9646を達成し、教師ありベースラインの0.9594よりも顕著に高い（p = 9.27e-28）。
• 平均教師モデルは中央値ハウスドルフ距離を148.23から81.49に低減し、境界局所化の改善が示された（p = 4.40e-07）。
• ラベルなしデータがゼロであっても、平均教師モデルは教師ありモデルを上回った。これは、トレーニング戦略自体が性能向上に寄与していることを示している。
• 100%のラベルなしデータと50%のラベル付きデータを用いた場合、平均教師モデルは100%ラベル付きデータでトレーニングされた教師ありモデルの0.9594を超えるDiceスコア0.9611を達成した。
• ラベルなしデータが増えるにつれて性能が常に向上するとは限らず、手術内でのデータ相関や最適でないハイパーパrameterチューニングによる干渉の可能性があることが示唆された。
• 本研究は、ラベルなしデータが臨床的半教師ありセグメンテーションタスクにおいてラベル付きデータの代替として機能できることを、実患者データを用いた最初の定量的証拠として提供した。