[論文レビュー] Bidirectional Copy-Paste for Semi-Supervised Medical Image Segmentation

Yunhao Bai, Duowen Chen+3 more|arXiv (Cornell University)|May 1, 2023

Advanced Neural Network Applications被引用数 12

ひとこと要約

この論文は Mean Teacher フレームワーク内で Bidirectional Copy-Paste (BCP) を導入し、ラベル付きデータとラベルなしデータの分布を整合させることで半教師あり医用画像セグメンテーションに取り組む。5% のラベル付きデータで ACDC における Dice の大幅な改善を達成（例として最大 21%）。

ABSTRACT

In semi-supervised medical image segmentation, there exist empirical mismatch problems between labeled and unlabeled data distribution. The knowledge learned from the labeled data may be largely discarded if treating labeled and unlabeled data separately or in an inconsistent manner. We propose a straightforward method for alleviating the problem - copy-pasting labeled and unlabeled data bidirectionally, in a simple Mean Teacher architecture. The method encourages unlabeled data to learn comprehensive common semantics from the labeled data in both inward and outward directions. More importantly, the consistent learning procedure for labeled and unlabeled data can largely reduce the empirical distribution gap. In detail, we copy-paste a random crop from a labeled image (foreground) onto an unlabeled image (background) and an unlabeled image (foreground) onto a labeled image (background), respectively. The two mixed images are fed into a Student network and supervised by the mixed supervisory signals of pseudo-labels and ground-truth. We reveal that the simple mechanism of copy-pasting bidirectionally between labeled and unlabeled data is good enough and the experiments show solid gains (e.g., over 21% Dice improvement on ACDC dataset with 5% labeled data) compared with other state-of-the-arts on various semi-supervised medical image segmentation datasets. Code is available at https://github.com/DeepMed-Lab-ECNU/BCP}.

研究の動機と目的

• 小さなラベル付きデータセットと大きなラベルなしデータセット間の分布ミスマッチの動機付けと解決
• ラベル付きデータとラベルなしデータ間で知識を双方向に伝達する、シンプルで一貫した学習機構を提案
• 共通の意味論を誘導し経験的分布ギャップを縮小するコピー＆ペーストの拡張を活用
• 追加の学習可能パラメータを増やさずに、複数データセットとアブレーションで強い実証的利得を示す

提案手法

• Teacher と Student ネットワークを備えた Mean Teacher フレームワークで動作する
• ラベル付き画像とラベルなし画像の間で切り抜きを双方向にコピー＆ペーストして二つの混合入力を生成する（内向き・外向き）
• Student を、Teacher の擬似ラベルとラベル付き地上 truth に基づく双方向混合監督信号で監督する
• 切り抜かれた領域を定義するゼロ中心のコピー・マスクと、前景サイズを制御する beta パラメータを使用（beta ≈ 2/3）
• 混合入力上でラベル付き/ラベルなしマスクを用いて監督をバランスさせつつ損失を計算する（alpha がラベルなしの寄与を制御）
• 各イテレーション後に Student のパラメータの指数移動平均を用いて Teacher を更新する

実験結果

リサーチクエスチョン

• RQ1 ラベル付きデータとラベルなしデータ間の双方向コピー＆ペーストは半教師あり医療セグメンテーションにおける経験的分布ミスマッチを低減するか？
• RQ2 内向きと外向きのコピー＆ペーストの方向は共通の意味論の学習と最終的なセグメンテーション精度にどのように影響するか？
• RQ3 マスキング戦略、切り抜きサイズ、および損失ウェイト付けがデータセット間の性能に与える影響は？
• RQ4 提案手法は追加のモデル複雑さなしに既存の半教師あり手法を上回ることができるか？

主な発見

• BCP はデータセット全体でラベル付きデータとラベルなしデータ間の性能ギャップを大幅に縮小する
• 5% のラベル付きデータで ACDC に対するベースラインから Dice が最大 21% 改善される
• LA、Pancreas-NIH、ACDC において、BCP は Dice、Jaccard、境界指標（例：95HD および ASD）で一貫して最先端の半教師あり手法を上回る
• アブレーション研究により、双方向の方向（Inward および Outward）が単方向のコピー・ペーストおよび CP のみの変種を上回ることを示す
• ラベル付きデータでのコピー・ペーストによる事前学習と、ラベルなし監督の alpha 値を低くすることで擬似ラベルの品質と最終的な Dice が改善される
• 本手法は新たな学習可能パラメータを追加せず、ベースラインと同等の計算コストを維持する