[論文レビュー] Deep Co-Training for Semi-Supervised Image Segmentation

Jizong Peng, Guillermo Estrada+2 more|arXiv (Cornell University)|Mar 27, 2019

Advanced Neural Network Applications参考文献 53被引用数 12

ひとこと要約

本稿では、ラベル付きデータとラベルなし画像を用いて2つのディープセマンティックセグメンテーションモデルを共同で学習する、半教師付きセマンティック画像セグメンテーションのためのディープアダルティブラコ・トレーニングフレームワークを提案する。モデルの多様性は敵対的例を用いて強制される。本手法は、モデルの一致と制御された予測の乖離を活用することで、医療画像セグメンテーションベンチマークで最先端の性能を達成する。

ABSTRACT

In this paper, we aim to improve the performance of semantic image segmentation in a semi-supervised setting in which training is effectuated with a reduced set of annotated images and additional non-annotated images. We present a method based on an ensemble of deep segmentation models. Each model is trained on a subset of the annotated data, and uses the non-annotated images to exchange information with the other models, similar to co-training. Even if each model learns on the same non-annotated images, diversity is preserved with the use of adversarial samples. Our results show that this ability to simultaneously train models, which exchange knowledge while preserving diversity, leads to state-of-the-art results on two challenging medical image datasets.

研究の動機と目的

• 手動によるラベル付けが時間と費用がかかるため、セマンティックセグメンテーションにおいて限られたアノテート済み医療画像の課題に対処すること。
• 少量のアノテート済み画像と大量のラベルなし画像を効果的に活用することで、半教師付き設定におけるセグメンテーション性能を向上させること。
• 分類タスクから畳み込みニューラルネットワーク（FCN）を用いた密度予測タスク（画像セグメンテーション）へのコ・トレーニングの拡張を可能にする。
• 事前に定義された補完的ビューに依存せずに、敵対的例を用いてモデルの不一致（dissonance）を誘発するメカニズムにより、アンサンブルモデル間の多様性を強制すること。
• モデルの一致（コ・トレーニング）と多様性正則化の組み合わせが、ベンチマークデータセットにおける一般化性能と性能向上に寄与することを実証すること。

提案手法

• ラベル付き画像の共有セットとより大きなラベルなし画像のセットを用いて、2つのディープ畳み込みニューラルネットワーク（FCN）を並列に学習する。
• ラベルなし画像の予測において2つのモデルの一致を促進するため、コ・トレーニング損失（$\mathcal{L}_{\mathrm{cot}}$）を用いることで一般化性能を向上させる。
• ラベル付きおよびラベルなしデータから生成された敵対的例における予測一致を最小化することで、アダルティスド多様性損失（$\mathcal{L}_{\mathrm{div}}$）を用いてモデルの多様性を強制する。
• 元の画像に非常に近いが予測の不一致を引き起こすように、微小な摂動 $\epsilon$（例：$\epsilon = 0.001$）を用いて敵対的例を生成する。
• 訓練の初期段階で教師あり損失（$\mathcal{L}_{\mathrm{sup}}$）を優先し、徐々にコ・トレーニング損失と多様性損失とをバランスさせるラムプアップ戦略を適用する。
• 境界領域や心筋（myocardium）のような難易度の高いセグメンテーション領域において、予測不一致を測定・可視化するために $L_1$ ノルムを用いる。

実験結果

リサーチクエスチョン

• RQ1 分類タスクから拡張されたコ・トレーニングが、セマンティック画像セグメンテーションのような密度予測タスクに効果的に適用可能か？
• RQ2 事前に定義された補完的ビューに依存せずに、半教師付きセグメンテーションフレームワークにおけるモデル多様性をどのように効果的に強制できるか？
• RQ3 敵対的例の使用が、クリーンなデータにおけるモデル一致と、摂動を加えた入力における多様性の両方を向上させるか？
• RQ4 コ・トレーニングと多様性正則化の組み合わせは、Pseudo Label や VAT や Mean Teacher といった既存の最先端手法と比較して、どのように優れているか？
• RQ5 アンサンブルにおけるモデル数が性能に与える影響はどの程度か？2つ以上のモデルを用いた場合、限界効果は現れるか？

主な発見

• 提案手法は、2つの挑戦的な医療画像セグメンテーションベンチマークで、Pseudo Label や VAT や Mean Teacher を含む最近の最先端手法を上回る性能を達成した。
• ACDCデータセットでは、左心室のDice類似係数（DSC）が0.876に達し、ベースライン手法を顕著に上回った。
• 多様性損失（$\mathcal{L}_{\mathrm{div}}$）は、境界領域や左心室心筋、右心室内膜など難易度の高い領域で、効果的に予測の不一致を誘発した。
• ε = 0.001 で生成された敵対的例は、2つのモデル間で予測の不一致を明確に生じさせ、多様性の強制に寄与することが確認された。
• 損失重み付けのラムプアップ戦略は、訓練の安定性と性能を向上させたが、ハイパーパramータのチューニングは依然として必要である。
• 2つ以上のモデルを用いることで得られる性能向上は限定的であり、2つのモデルでも多様性メカニズムが有効であることが示された。