[論文レビュー] Deep Q-Network-Driven Catheter Segmentation in 3D US by Hybrid Constrained Semi-Supervised Learning and Dual-UNet

Hongxu Yang, Caifeng Shan+2 more|arXiv (Cornell University)|Jun 25, 2020

Advanced Neural Network Applications参考文献 16被引用数 6

ひとこと要約

本論文は、深層Qネットワーク（DQN）を用いた粗い局所化と、半教師ありDual-UNetを組み合わせた2段階の深層学習フレームワークを、3D超音波カテーテル画像のセグメンテーションに提案する。不確実性と文脈的損失のハイブリッド制約をラベルなしデータに適用することで、アノテーション画像を大幅に減らしながら、最先端の性能を達成し、従来の教師ありおよび既存の半教師あり手法に比べて、アノテーション負荷を軽減するとともに、精度と効率性を向上させる。

ABSTRACT

Catheter segmentation in 3D ultrasound is important for computer-assisted cardiac intervention. However, a large amount of labeled images are required to train a successful deep convolutional neural network (CNN) to segment the catheter, which is expensive and time-consuming. In this paper, we propose a novel catheter segmentation approach, which requests fewer annotations than the supervised learning method, but nevertheless achieves better performance. Our scheme considers a deep Q learning as the pre-localization step, which avoids voxel-level annotation and which can efficiently localize the target catheter. With the detected catheter, patch-based Dual-UNet is applied to segment the catheter in 3D volumetric data. To train the Dual-UNet with limited labeled images and leverage information of unlabeled images, we propose a novel semi-supervised scheme, which exploits unlabeled images based on hybrid constraints from predictions. Experiments show the proposed scheme achieves a higher performance than state-of-the-art semi-supervised methods, while it demonstrates that our method is able to learn from large-scale unlabeled images.

研究の動機と目的

• 3D超音波カテーテル画像セグメンテーションにおける教師あり深層学習の高コストなアノテーションを低減すること。
• 限られたラベル付きデータを有効に活用することで、豊富なラベルなし3D US画像を活用し、セグメンテーション性能を向上させること。
• 強化学習を用いた事前局所化を統合することで、より効率的かつ正確なセグメンテーションパイプラインを構築すること。
• 従来の半教師あり学習手法の限界、例えばパラメータの相関関係や不安定な不確実性推定を克服すること。
• 全ボリュームまたは全パッチベースの手法に比べ、計算コストを低減することで、リアルタイム臨床応用を可能にすること。

提案手法

• 深層Qネットワーク（DQN）を訓練し、ボクセルレベルのアノテーションを必要とせずに、3D USボリューム内でのカテーテルの粗い局所化を実行するポリシーを学習する。
• DQNエージェントは、$128^3$ボリュームからの$55^3$の観測空間を用い、カテーテル中心を特定するための3次元の離散的移動を行動として定義する。
• パッチベースのDual-UNetを、DQNが特定した領域周辺のカテーテルセグメンテーションに適用し、コンパクトUNetをバックボーンとして用い、ドロップアウトを用いて不確実性推定を実施する。
• Dual-UNetは、教師あり損失、ネットワーク内およびネットワーク間の不確実性制約、および文脈的制約損失を組み合わせた新規な半教師あり学習スキームで訓練される。
• 不確実性は、T=8回の前方伝搬を用いたモンテカルロドロップアウトで推定され、ラベルなし画像からの信頼性の高い予測が偽ラベルとして使用される。
• 文脈的制約損失が導入され、ラベルなしパッチ間の意味的文脈の一貫性を強制することで、特徴の学習を向上させる。

実験結果

リサーチクエスチョン

• RQ1 深層強化学習は、3D超音波カテーテル画像セグメンテーションにおいて、局所化精度を損なわずにアノテーション作業を軽減できるか？
• RQ2 限られたラベル付きデータを有効に活用するため、ラベルなし3D USデータをどのように効果的に活用できるか？
• RQ3 ハイブリッド制約に基づく半教師あり学習スキームは、既存の不確実性を考慮したおよび敵対的SSL手法を上回る性能を示すか？
• RQ4 粗い局所化とパッチベースのセグメンテーションを統合することで、全ボリュームまたは全パッチ探索手法に比べ、推論効率が向上するか？
• RQ5 不確実性推定と文脈モデリングの影響は、半教師あり3Dセグメンテーションのロバスト性と精度にどのような影響を与えるか？

主な発見

• 提案手法は、体外での3D USデータセットにおいて、最先端の半教師あり手法よりも平均Diceスコアが4%高い性能を達成した。
• 18枚のラベル付き画像と42枚のラベルなし画像のみを用いても、同じバックボーンネットワークを用いた教師ありベースラインを上回った。
• DQNベースの事前局所化は、$128^3$ボリューム内で4.3 ± 2.6ボクセル（平均 ± 標準偏差）の局所化精度を達成し、$160^3$ボリュームケース（4.7 ± 4.8ボクセル）を上回った。
• 2段階フレームワークは3Dボリュームを約1.2秒で処理でき、全パッチ探索手法が10秒以上を要するのに対し、顕著に高速であった。
• アブレーションスタディにより、ハイブリッド制約損失の各成分（不確実性および文脈的）が性能向上に寄与していることが確認され、完全なモデルが最良の結果を達成した。
• $π$-モデルベースラインは、複雑な3D US画像における不安定な不確実性推定に起因する信頼性の低い偽ラベルのため、提案手法に劣った性能を示した。