[論文レビュー] 3D Semi-Supervised Learning with Uncertainty-Aware Multi-View Co-Training

Yingda Xia, Fengze Liu+7 more|arXiv (Cornell University)|Nov 29, 2018

AI in cancer detection被引用数 24

ひとこと要約

本稿では、空間変換を用いて3D医療画像ボリュームの多様なビューを生成し、2D事前学習モデルから初期化された非対称3Dカーネルを用いて特徴の多様性を促進する、不確実性を考慮したマルチビュー同時学習（UMCT）という3D半教師あり学習フレームワークを提案する。ドロップアウトを用いたベイジアンディープラーニングにより予測のエピステミック不確実性を推定し、不確実性重み付きラベル統合により仮ラベルの信頼性を向上させる。これにより、限定的なアノテーション条件下でもNIH膵臓およびLiTS肝腫瘍セグメンテーションで最先端の性能を達成した。

ABSTRACT

While making a tremendous impact in various fields, deep neural networks usually require large amounts of labeled data for training which are expensive to collect in many applications, especially in the medical domain. Unlabeled data, on the other hand, is much more abundant. Semi-supervised learning techniques, such as co-training, could provide a powerful tool to leverage unlabeled data. In this paper, we propose a novel framework, uncertainty-aware multi-view co-training (UMCT), to address semi-supervised learning on 3D data, such as volumetric data from medical imaging. In our work, co-training is achieved by exploiting multi-viewpoint consistency of 3D data. We generate different views by rotating or permuting the 3D data and utilize asymmetrical 3D kernels to encourage diversified features in different sub-networks. In addition, we propose an uncertainty-weighted label fusion mechanism to estimate the reliability of each view's prediction with Bayesian deep learning. As one view requires the supervision from other views in co-training, our self-adaptive approach computes a confidence score for the prediction of each unlabeled sample in order to assign a reliable pseudo label. Thus, our approach can take advantage of unlabeled data during training. We show the effectiveness of our proposed semi-supervised method on several public datasets from medical image segmentation tasks (NIH pancreas & LiTS liver tumor dataset). Meanwhile, a fully-supervised method based on our approach achieved state-of-the-art performances on both the LiTS liver tumor segmentation and the Medical Segmentation Decathlon (MSD) challenge, demonstrating the robustness and value of our framework, even when fully supervised training is feasible.

研究の動機と目的

• 3D医療ボリュームデータのアノテーションにかかる高コストを低減するため、豊富な未ラベルデータを活用すること。
• 空間変換によるビューの多様性と非対称3Dカーネル設計を導入することで、半教師あり3Dセグメンテーションの性能を向上させること。
• ベイジアンディープラーニングを用いた予測不確実性推定により、同時学習における仮ラベルの品質を向上させること。
• マルチビュー学習を用いることで、すべてのデータがラベル付きの完全教師あり設定でも性能向上を示すことを実証すること。
• 2D事前学習重みが3Dネットワーク初期化に与える影響を調査し、訓練の安定性と性能向上に寄与するかどうかを明らかにすること。

提案手法

• マルチビュー入力は、3Dデータに空間変換（例：回転、並び替え）を適用することで生成され、同時学習用の明確な視点差を生じさせる。
• サブネットワークでは、非対称3D畳み込みカーネル（例：3×3×1）を用い、2D事前学習モデルから初期化することで、モデルレベルのビュー差を導入する。
• ドロップアウトを用いたベイジアンディープラーニングによりエピステミック不確実性を推定し、各ビューの予測に対する信頼度スコアを生成する。
• 不確実性重み付きラベル統合（ULF）モジュールは、推定された不確実性に基づいて重み付けされた予測を用いて、未ラベルデータの仮ラベルを計算する。
• 他のビューからの仮ラベルと真値ラベルを統合して、マルチビューネットワークのエンドツーエンド学習における監督信号とする。
• 本フレームワークは、半教師ありおよび完全教師あり学習の両方をサポートしており、すべてのデータがラベル付きであっても、同時学習の目的関数が適用される。

実験結果

リサーチクエスチョン

• RQ1 データレベルおよびモデルレベルのビュー多様性を導入したマルチビュー同時学習が、3D半教師ありセグメンテーション性能を向上させることができるか？
• RQ2 ベイジアンディープラーニングによる不確実性推定は、3D医療画像セグメンテーションにおける同時学習における仮ラベルの信頼性をどのように向上させるか？
• RQ3 2D事前学習重みがボリュームセグメンテーションタスクにおける3Dネットワーク初期化に与える影響は何か？
• RQ4 不確実性重み付きラベル統合は、標準的な平均化や重みなし統合よりも優れているか？
• RQ5 提案された同時学習フレームワークは、限定的なラベル付きデータ条件下でも完全教師あり設定においても性能向上をもたらすか？

主な発見

• NIH膵臓データセットでは、提案されたUMCTフレームワークが、わずか10％のラベル付きデータを用いて78.70％のDiceスコアを達成し、他の半教師あり手法を上回った。
• LiTS肝腫瘍データセットでは、UMCTが半教師あり学習において最先端の性能を達成し、限定的なアノテーション条件下でも優れた一般化性能を示した。
• UMCTの完全教師ありバージョンは、NIHデータセットで78.70％のDiceスコアを達成し、標準の3D ResNet-50やV-Netを上回った。これはマルチビュー同時学習の有効性を示している。
• アブレーションスタディの結果、2D初期化を施した非対称3Dカーネルは、対称アーキテクチャに比べ1％以上の性能向上を示した。
• 不確実性重み付きラベル統合は、3つ以上のビューを用いた場合に顕著に性能向上を示し、信頼度推定が信頼性の低い仮ラベルからのノイズを低減することを示した。
• 初期化に関するアブレーションスタディでは、2D事前学習重みが訓練の安定性と最終的な性能を顕著に向上させたことが判明し、3Dセグメンテーションにおいてその重要性が強調された。