[論文レビュー] Weakly Supervised Segmentation with Multi-scale Adversarial Attention Gates

Gabriele Valvano, Andrea Leo+1 more|arXiv (Cornell University)|Jul 2, 2020

COVID-19 diagnosis using AI参考文献 33被引用数 3

ひとこと要約

本稿では、スクリッチアノテーションと敵対的アテンションゲートを備えたマルチスケール生成対抗ネットワーク（GAN）を活用して高品質なセグメンテーションマスクを生成する弱教師付きセグメンテーションモデルを提案する。敵対的信号に条件付けられたアテンションゲートにより、形状の事前知識を学習し、医療および非医療データセットにおいて完全教師ありモデルと同等の性能を達成する。

ABSTRACT

Large, fine-grained image segmentation datasets, annotated at pixel-level, are difficult to obtain, particularly in medical imaging, where annotations also require expert knowledge. Weakly-supervised learning can train models by relying on weaker forms of annotation, such as scribbles. Here, we learn to segment using scribble annotations in an adversarial game. With unpaired segmentation masks, we train a multi-scale GAN to generate realistic segmentation masks at multiple resolutions, while we use scribbles to learn the correct position in the image. Central to the model's success is a novel attention gating mechanism, which we condition with adversarial signals to act as a shape prior, resulting in better object localization at multiple scales. We evaluated our model on several medical (ACDC, LVSC, CHAOS) and non-medical (PPSS) datasets, and we report performance levels matching those achieved by models trained with fully annotated segmentation masks. We also demonstrate extensions in a variety of settings: semi-supervised learning; combining multiple scribble sources (a crowdsourcing scenario) and multi-task learning (combining scribble and mask supervision). We will release expert-made scribble annotations for the ACDC dataset, and the code used for the experiments, at this https URL.

研究の動機と目的

• エキスパートの関与による高コストかつ時間のかかるピクセルレベルのアノテーションが求められる大規模な医療画像データの取得の課題に対処すること。
• 完全なインスタンスマスクではなく、スクリッチレベルのアノテーションのみを用いる弱教師付きセグメンテーションフレームワークの開発。
• アテンションゲーティング機構に敵対的信号を組み込むことで、オブジェクトの局所化とセグメンテーション精度を向上させ、形状の事前知識としての役割を果たすこと。
• 医療（ACDC、LVSC、CHAOS）および非医療（PPSS）ドメインを含む多様なデータセットにおいて、モデルの有効性を実証すること。
• モデルのロバストネスと一般化性能を向上させるために、半教師あり、マルチソーススクリッチ、マルチタスク学習の設定にフレームワークを拡張すること。

提案手法

• 対応する正解マスクがペairedでない状態で、複数スケールの解像度でリアルなセグメンテーションマスクを生成するマルチスケール GAN を訓練する。
• スクリッチアノテーションを条件として用いて、ピクセルレベルでのオブジェクト局所化をガイドする。
• ディスクリミネーターからのフィードバックを活用して特徴マップを精緻化し、形状の一貫性を強制する、新規の敵対的アテンションゲートを導入する。
• 敵対的信号をアテンションゲートに導入することで、形状の事前知識として機能し、複数スケールにわたる局所化精度を向上させる。
• 生成器とディスクリミネーターを敵対的ゲームで訓練し、生成器はリアルなマスクを生成する一方で、ディスクリミネーターは本物と偽物のマスクを区別するように学習する。
• U-Netに類似したアーキテクチャのスキップ接続にアテンションゲートを統合することで、すべてのスケールで空間的詳細を保持する。

実験結果

リサーチクエスチョン

• RQ1 スクリッチアノテーションのみを用いた弱教師付きセグメンテーションモデルは、完全教師ありモデルと同等の性能を達成できるか？
• RQ2 提案された敵対的アテンションゲートは、オブジェクトの局所化とセグメンテーション精度の向上にどの程度効果的か？
• RQ3 マルチスケール GAN フレームワークは、多様な画像ドメインにおいて生成されたセグメンテーションマスクの品質を向上させるか？
• RQ4 モデルは半教師ありおよびマルチソーススクリッチ学習のシナリオに一般化可能か？
• RQ5 スクリッチ監視と部分的マスク監視を組み合わせることで、全体のセグメンテーション性能にどのような影響を与えるか？

主な発見

• 提案モデルは、ACDC、LVSC、CHAOS、PPSS を含む複数の医療および非医療データセットにおいて、完全教師ありモデルと同等のセグメンテーション性能を達成する。
• 敵対的アテンションゲートは形状の事前知識として機能し、誤検出を低減し境界の正確性を向上させることで、オブジェクトの局所化を著しく改善する。
• スクリッチが一部のトレーニングサンプルにのみアノテートされている半教師あり学習においても、モデルは良好に一般化する。
• クラウドソーシングによる複数のスクリッチソースを組み合わせることで、モデルのロバストネスが向上し、高い性能を維持する。
• マルチタスク学習の枠組みでスクリッチと部分的マスク監視を統合することで、セグメンテーション精度と収束速度がさらに向上する。
• 著者らは ACDC データセット用のエキスパートが作成したスクリッチアノテーションとコードを公開し、再現性および今後の研究を支援する。