[論文レビュー] Bootstrap Representation Learning for Segmentation on Medical Volumes and Sequences

Zejian Chen, Wei Zhuo+3 more|arXiv (Cornell University)|Jan 1, 2021

AI in cancer detection参考文献 55被引用数 3

ひとこと要約

本論文は、限定的なアノテーションを用いて、医療ボリュームおよびシーケンスセグメンテーションのためのブートストラップ自己教師あり表現学習手法を提案する。スライス間の空間的連続性と、アテンションガイドド予測子およびフォアグラウンド・バックグラウンドプロトタイプキャリブレーションを備えたグローバル・トゥ・ローカル予測フレームワークを活用することで、ACDCで前人最高（SOTA）の性能を達成し、2つのラベル付きボリュームのみで4.5% DSCの向上を達成した。Prostateでは1.7%、CAMUSでは2.3%の向上を示した。

ABSTRACT

In this work, we propose a novel straightforward method for medical volume and sequence segmentation with limited annotations. To avert laborious annotating, the recent success of self-supervised learning(SSL) motivates the pre-training on unlabeled data. Despite its success, it is still challenging to adapt typical SSL methods to volume/sequence segmentation, due to their lack of mining on local semantic discrimination and rare exploitation on volume and sequence structures. Based on the continuity between slices/frames and the common spatial layout of organs across volumes/sequences, we introduced a novel bootstrap self-supervised representation learning method by leveraging the predictable possibility of neighboring slices. At the core of our method is a simple and straightforward dense self-supervision on the predictions of local representations and a strategy of predicting locals based on global context, which enables stable and reliable supervision for both global and local representation mining among volumes. Specifically, we first proposed an asymmetric network with an attention-guided predictor to enforce distance-specific prediction and supervision on slices within and across volumes/sequences. Secondly, we introduced a novel prototype-based foreground-background calibration module to enhance representation consistency. The two parts are trained jointly on labeled and unlabeled data. When evaluated on three benchmark datasets of medical volumes and sequences, our model outperforms existing methods with a large margin of 4.5\% DSC on ACDC, 1.7\% on Prostate, and 2.3\% on CAMUS. Intensive evaluations reveals the effectiveness and superiority of our method.

研究の動機と目的

• ディープラーニングベースのセグメンテーションにおいて、限られたアノテーション付き医療ボリュームおよびシーケンスの課題に対処すること。
• 内在的な空間的および時間的連続性を活用することで、3Dおよび時間的医療データの表現学習を向上させること。
• 2段階トレーニングアプローチとは異なり、ラベルなしデータの忘却を防ぐための統合的トレーニングフレームワークを構築すること。
• 予測可能なスライス遷移に基づく密な自己教師あり学習を通じて、局所的およびグローバル表現学習を強化すること。
• ラベルなしデータに対して、意味的センシティブなプロトタイプベースのフォアグラウンド・バックグラウンドキャリブレーションを導入することで、対照的学習を安定化させること。

提案手法

• 現在のスライスからのグローバルコンテキストを用いて、他のスライスの密な特徴を予測するための距離特化アテンションを備えた非対称エンコーダ・プロデューサー・ネットワークを導入する。
• スライス間およびボリューム内での予測に対する密な類似度損失を適用し、グローバルおよびローカル表現の両方を同時にマイニングできる自己教師あり学習を強化する。
• 予測の重み付けをスライス間の距離（イントラおよびインターボリューム）に応じて適応的に調整するための距離精錬アテンション機構を予測子に設計する。
• ラベルなしデコーダ特徴とラベル付きデータのプロトタイプを一致させるプロトタイプベースのフォアグラウンド・バックグラウンドキャリブレーションモジュールを提案する。これにより、特徴の一貫性が向上する。
• ラベル付きデータのフォアグラウンドマスクと、ラベルなしデータの確率マップからの高活性化領域を、対照的学習のための意味的リファレンスとして用いる。
• ラベル付きおよびラベルなしデータの両方に対して、予測およびキャリブレーションの目的関数を同時に最適化するエンド・トゥ・エンドのモデル訓練を実施する。

実験結果

リサーチクエスチョン

• RQ1 医療ボリュームにおける隣接スライス間の予測可能な空間的連続性は、自己教師あり表現学習に効果的に活用できるか？
• RQ2 グローバル・トゥ・ローカル予測フレームワークは、3Dおよび時系列医療データにおける局所的およびグローバル特徴学習をどのように向上させるか？
• RQ3 プロトタイプベースのフォアグラウンド・バックグラウンドキャリブレーションは、半教師ありセグメンテーションにおける特徴の一貫性と一般化性能を向上させるか？
• RQ4 本手法は、ランダムクロップやピクセル単位のオーグメンテーションに依存する対照的SSL手法よりも、ボリュームおよび時系列データで優れた性能を示すか？
• RQ5 本手法は、異なるバックボーンアーキテクチャおよびアノテーション予算が異なるデータセットに対しても、どのように一般化するか？

主な発見

• 本手法は、ACDCデータセットで2つのラベル付きボリュームのみを用いても、前人最高（CGL）よりも4.5%高いDice Similarity Coefficient（DSC）を達成した。
• Prostateデータセットでは、2つのラベル付きボリュームを用いた場合、CGLに比べ平均DSCが1.7%向上し、特に挑戦的な解剖的構造に対しても優れた性能を示した。
• CAMUS心エコー画像データセットでは、8つのラベル付きシーケンスのみでCGLに比べ2.3%高いDSCを達成した。一方、完全な教師あり学習ベンチマークに比べて93.8%少ないアノテーション量を要した。
• 本手法は、さまざまなエンコーダバックボーンに対して優れた一般化性能を示し、VGG13およびResNet18アーキテクチャの両方で、ランダム初期化およびCGLを上回った。
• Prostateデータセットにおいて、8つのラベル付きボリュームを用いた本手法と、完全な教師あり学習ベンチマーク（20ボリューム）との間のDSC差はたった0.7%にとどまり、非常に高いデータ効率性を示した。
• アブレーションスタディの結果、アテンションガイドド予測子とフォアグラウンド・バックグラウンドキャリブレーションモジュールの両方が最適性能を達成するために不可欠であり、それぞれが最終的な性能向上に顕著な寄与を示した。