[論文レビュー] Semi-supervised Medical Image Segmentation through Dual-task Consistency

Xiangde Luo, Jieneng Chen+4 more|arXiv (Cornell University)|Sep 9, 2020

Advanced Neural Network Applications被引用数 29

ひとこと要約

本稿では、二重タスク整合性に基づく新しい半教師あり医療画像セグメンテーションフレームワークを提案する。深層ネットワークが画素単位のセグメンテーションマップと幾何学的感度の高いレベルセット関数を同時に予測する。微分可能タスク変換層によりレベルセット表現をセグメンテーションマップに変換し、二つの出力間の整合性正則化により、ラベルなしデータを用いて性能を向上させ、3D医療画像データセット2つで最先端の結果を達成するとともに、計算コストを低減した。

ABSTRACT

Deep learning-based semi-supervised learning (SSL) algorithms have led to promising results in medical images segmentation and can alleviate doctors' expensive annotations by leveraging unlabeled data. However, most of the existing SSL algorithms in literature tend to regularize the model training by perturbing networks and/or data. Observing that multi/dual-task learning attends to various levels of information which have inherent prediction perturbation, we ask the question in this work: can we explicitly build task-level regularization rather than implicitly constructing networks- and/or data-level perturbation-and-transformation for SSL? To answer this question, we propose a novel dual-task-consistency semi-supervised framework for the first time. Concretely, we use a dual-task deep network that jointly predicts a pixel-wise segmentation map and a geometry-aware level set representation of the target. The level set representation is converted to an approximated segmentation map through a differentiable task transform layer. Simultaneously, we introduce a dual-task consistency regularization between the level set-derived segmentation maps and directly predicted segmentation maps for both labeled and unlabeled data. Extensive experiments on two public datasets show that our method can largely improve the performance by incorporating the unlabeled data. Meanwhile, our framework outperforms the state-of-the-art semi-supervised medical image segmentation methods. Code is available at: https://github.com/Luoxd1996/DTC

研究の動機と目的

• 医療画像セグメンテーションにおける高コストなアノテーションを低減するため、ラベルなしデータを効果的に活用すること。
• 半教師あり学習において、従来のデータレベルまたはネットワークレベルの摂動に基づく正則化と比較して、タスクレベル正則化が優れているかどうかを調査すること。
• レベルセット表現を介して幾何学的およびグローバルな形状制約を半教師ありセグメンテーションに統合すること。
• 複雑なアーキテクチャや反復的推論を回避する、シンプルで効果的なフレームワークを開発すること。
• 既存の手法と比較して、計算コストを低く抑えながら最先端の性能を達成すること。

提案手法

• 画素単位のセグメンテーションマップと、セグメンテーションの境界を表すグローバルレベルのレベルセット関数（LSF）を同時に予測する二重タスク深層ネットワークを設計する。
• 滑らかなヘヴィサイド層を用いて、レベルセット関数を微分可能にセグメンテーション確率マップに変換し、エンド・トゥ・エンドの学習を可能にする。
• ラベルありおよびラベルなしデータの両方において、直接予測されたセグメンテーションマップとレベルセット関数から導出されたマップの差を最小化する二重タスク整合性損失を導入する。
• 整合性損失は、二つの異なるが関連するタスクからの予測の一致を強制する正則化項として機能する。
• 1枚の画像に対して1回の順伝播のみを用いるため、反復的リファインメントや複数の推論段階を回避する。
• 本手法は多クラスセグメンテーションへも拡張可能であり、エッジ検出やキーポイント推定などの追加の微分可能なタスクを組み込むことができる。

実験結果

リサーチクエスチョン

• RQ1 半教師あり医療画像セグメンテーションにおいて、タスクレベルの整合性正則化が、データレベルまたはネットワークレベルの摂動に基づく正則化を上回る可能性があるか？
• RQ2 タスクレベルの整合性正則化が、画素単位分類と組み合わせて幾何学的感度の高いレベルセット表現を統合することで、セグメンテーション性能が向上するか？
• RQ3 異なるタスクブランチ（画素単位とグローバルレベル）からの予測の整合性を強制することで、ラベルなしデータに対する一般化性能とロバストネスが向上するか？
• RQ4 複雑なアーキテクチャや学習スキームを避けるシンプルな1回の順伝播フレームワークが、最先端の性能を達成できるか？
• RQ5 本手法は、既存の最先端の半教師ありセグメンテーション手法と比較して、精度、パラメータ効率、推論時間の観点でどのように差をつけるか？

主な発見

• 提案手法は、3D左房MRIデータセットおよび膵臓CTデータセットの両方で最先端の性能を達成し、全評価指標において既存の半教師あり手法を上回った。
• 左房データセットでは、Diceスコア、ASD、95HDの観点で最高の結果を達成し、次に良い手法と比べて顕著に高いDiceスコアを示した。
• 膵臓データセットでは、全比較手法の中で最高のDiceスコアと最小の95パーセンタイルハウスドルフ距離を達成し、境界の正確性が優れていることを示した。
• SASSNet、UAMT、CCTなどの手法と比較して、訓練時間もパラメータ数の両方が少なく、より優れた性能を達成した。
• 可視化結果から、正解との重複度が高く、誤検出が少なく、解剖学的詳細の保持が良好であることが明らかになった。
• アブレーションスタディにより、二重タスク整合性が性能向上の主因であることが確認され、異なる解剖的構造および画像モalityにわたり良好な一般化性能を示した。