[論文レビュー] Hybrid Dual Mean-Teacher Network With Double-Uncertainty Guidance for Semi-Supervised Segmentation of MRI Scans

Jiayi Zhu, Bart Bolsterlee+3 more|arXiv (Cornell University)|Mar 9, 2023

Advanced Neural Network Applications被引用数 5

ひとこと要約

本論文は、ハイブリッド特徴量と不確実性誘導型融合を活用して、最小限のラベル付きデータで半教師付きMRI画像分類を向上させるために、2次元（2D）および3次元（3D）の平均教師ネットワークを組み合わせたハイブリッドデュアルミーンティーチャー（HD-Teacher）ネットワークを提案する。モデルとタスクの不確実性の二重推定を用いて、両モodalの予測を動的に重み付けすることで、二値および多クラスMRI分類において最先端の性能を達成した。

ABSTRACT

Semi-supervised learning has made significant progress in medical image segmentation. However, existing methods primarily utilize information acquired from a single dimensionality (2D/3D), resulting in sub-optimal performance on challenging data, such as magnetic resonance imaging (MRI) scans with multiple objects and highly anisotropic resolution. To address this issue, we present a Hybrid Dual Mean-Teacher (HD-Teacher) model with hybrid, semi-supervised, and multi-task learning to achieve highly effective semi-supervised segmentation. HD-Teacher employs a 2D and a 3D mean-teacher network to produce segmentation labels and signed distance fields from the hybrid information captured in both dimensionalities. This hybrid learning mechanism allows HD-Teacher to combine the `best of both worlds', utilizing features extracted from either 2D, 3D, or both dimensions to produce outputs as it sees fit. Outputs from 2D and 3D teacher models are also dynamically combined, based on their individual uncertainty scores, into a single hybrid prediction, where the hybrid uncertainty is estimated. We then propose a hybrid regularization module to encourage both student models to produce results close to the uncertainty-weighted hybrid prediction. The hybrid uncertainty suppresses unreliable knowledge in the hybrid prediction, leaving only useful information to improve network performance further. Extensive experiments of binary and multi-class segmentation conducted on three MRI datasets demonstrate the effectiveness of the proposed framework. Code is available at https://github.com/ThisGame42/Hybrid-Teacher.

研究の動機と目的

• 高解像度で不均一なMRIスキャンと複雑な解剖学的構造を有する画像において、単一次元（2Dまたは3D）特徴に依存する既存の半教師付き手法の限界を是正する。
• 2Dおよび3Dネットワークからの補完的特徴をハイブリッド学習によって統合することで、分類精度と耐性を向上させる。
• モデルレベルとタスクレベルの不確実性の二重不確実性誘導メカニズムを導入し、教師の予測を動的に重み付け・精緻化する。
• 不確実性重み付きハイブリッド予測に従って学生モデルを正則化するハイブリッド正則化モジュールを開発し、一般化性能を向上させるとともに、信頼性の低い教師出力に起因するノイズを低減する。
• 少数のラベル付きMRIスキャンのみを用いて、完全教師ありモデルおよび人間の専門家レーティングと同等の性能を達成する。

提案手法

• 2Dおよび3Dのそれぞれの入力空間からセグメンテーションマスクと符号付き距離関数（SDF）を出力する、独立した2つの平均教師ネットワークを訓練する。
• 各教師ネットワーク（2Dおよび3D）の予測信頼性を評価するため、モデルレベルの不確実性を推定する。
• 一貫性正則化プロセスを誘導するため、SDF予測タスクのタスクレベルの不確実性を推定する。
• 個々の不確率スコアに基づいたソフトマックス重み付け方式を用いて、2Dおよび3D教師出力を動的に統合し、1つのハイブリッド予測を生成する。
• 融合予測からのハイブリッド不確実性を計算し、信頼性の低い知識を再キャリブレーションおよび抑制してから、両学生モデルの正則化に使用する。
• 不確実性重み付きハイブリッド予測に両2Dおよび3D学生ネットワークを一致させるハイブリッド正則化損失を適用し、一般化性能と特徴学習を向上させる。

実験結果

リサーチクエスチョン

• RQ1 2Dおよび3D平均教師ネットワークの統合は、単一モダリティ手法と比較して、半教師付きMRI画像分類性能を向上させることができるか？
• RQ2 2Dおよび3D教師予測の不確実性誘導型統合は、低データ環境下でのモデルの耐性を向上させ、ノイズを低減するか？
• RQ3 提案された二重不確実性誘導（モデルおよびタスクレベル）は、単一不確実性手法と比較して、より信頼性の高い知識蒸留を実現するか？
• RQ4 ハイブリッド特徴学習は、複雑な解剖的構造を有する高不均一なMRIスキャンにおける分類精度をどの程度向上させるか？
• RQ5 提案されたフレームワークは、最小限のラベル付きデータを用いて人間レベルの性能を達成できるか。その結果、臨床応用に適しているか？

主な発見

• HD-Teacherは、3つの多様なMRIデータセットにおいて最先端の性能を達成し、二値および多クラス分類タスクにおいて、既存の半教師ありおよび完全教師ありベースラインを上回った。
• MUGgLEデータセットでは、ラベル付きデータの10％しか使用しなかったにもかかわらず、完全教師ありモデルおよび人間の専門家レーティングと同等の性能を達成した。
• アブレーションスタディにより、ハイブリッド学習および不確実性誘導型正則化の両成分が分類精度を顕著に向上させたことが確認され、ハイブリッド不確実性モジュールが高不均一性状況で最大18％の誤差低減を達成した。
• 符号付き距離関数（SDF）を補助タスクとして用いることで、特に小形または不規則な形状の構造において境界の精密さが向上した。
• 本フレームワークは、異なるMRIモodalおよびボクセル解像度（例：0.4×0.4×5 mmの高不均一スキャン）において一貫した性能を示し、3Dオンリーモデルが通常性能を発揮しない状況でも優れた性能を発揮した。
• ハイブリッド不確実性メカニズムは、信頼性の低い領域において特に予測を効果的にフィルタリングし、より安定的かつ一般化可能な学生モデルの訓練を実現した。