[論文レビュー] DeepAtlas: Joint Semi-Supervised Learning of Image Registration and Segmentation

Zhenlin Xu, Marc Niethammer|arXiv (Cornell University)|Apr 17, 2019

Medical Image Segmentation Techniques参考文献 11被引用数 25

ひとこと要約

DeepAtlasは、少数の手動でアノテートされた画像を用いて、同時に分割とアライメントのネットワークをトレーニングする統合的深層学習フレームワークを提案する。解剖学的類似度損失を活用することで、アライメントされた画像間での一貫性のあるセグメンテーションを強制し、分割とアライメントの両方の精度を向上させる。膝MRIと脳MRIデータにおいて、1ショット学習のシナリオで、それぞれ2.7および1.8の絶対的Diceスコア向上を達成し、最先端の性能を実現した。

ABSTRACT

Deep convolutional neural networks (CNNs) are state-of-the-art for semantic image segmentation, but typically require many labeled training samples. Obtaining 3D segmentations of medical images for supervised training is difficult and labor intensive. Motivated by classical approaches for joint segmentation and registration we therefore propose a deep learning framework that jointly learns networks for image registration and image segmentation. In contrast to previous work on deep unsupervised image registration, which showed the benefit of weak supervision via image segmentations, our approach can use existing segmentations when available and computes them via the segmentation network otherwise, thereby providing the same registration benefit. Conversely, segmentation network training benefits from the registration, which essentially provides a realistic form of data augmentation. Experiments on knee and brain 3D magnetic resonance (MR) images show that our approach achieves large simultaneous improvements of segmentation and registration accuracy (over independently trained networks) and allows training high-quality models with very limited training data. Specifically, in a one-shot-scenario (with only one manually labeled image) our approach increases Dice scores (%) over an unsupervised registration network by 2.7 and 1.8 on the knee and brain images respectively.

研究の動機と目的

• 3D医療画像解析における手動セグメンテーションの限界に取り組むこと。
• 弱い教師信号および半教師付き信号を用いて、ネットワークを共同でトレーニングすることで、アライメントとセグメンテーションの性能を向上させること。
• ネットワーク間の相互監視により、1ショットセグメンテーションとアライメントを可能にすること。
• 個々のペアの最適化を回避するスケーラブルでエンドツーエンドの深層学習フレームワークを提供すること。

提案手法

• フレームワークは、画像アライメント用とセグメンテーション用の2つの深層ニューラルネットワークを同時にトレーニングする。
• 損失関数として、画像類似度（L_i）、アライメント正則化（L_r）、解剖学的類似度（L_a）、および教師付きセグメンテーション（L_sp）の重み付き和を用いる。
• 解剖学的類似度損失（L_a）は、変形された移動画像のセグメンテーションとターゲット画像のセグメンテーションの類似度の低さをペナルティ化し、解剖学的整合性を強制する。
• アライメントは、U-Netベースのネットワークが予測する変位場を介して実行され、移動画像がターゲット空間に変形される。
• ラベルなし画像のセグメンテーション予測が、解剖学的損失を通じてアライメントをガイドし、変形されたデータ拡張の一種を形成する。
• Adam最適化アルゴリズムを用い、学習率スケジューリングを適用して、ネットワークを交互にトレーニングし、個々の画像のエネルギー最小化を伴わずに共同最適化を実現する。

実験結果

リサーチクエスチョン

• RQ1 少数の手動でセグメンテッドされた画像しか利用できない状況で、セグメンテーションとアライメントのネットワークを共同で学習することで性能が向上するか？
• RQ2 アライメントされた画像間でのセグメンテーションの一貫性を組み込むことで、アライメント精度が向上するか？
• RQ3 ラベルなし画像におけるアライメントベースのデータ拡張により、セグメンテーションネットワークは恩恵を受けるか？
• RQ4 1枚の手動でセグメンテッドされた画像のみを用いた1ショット学習のシナリオにおいて、このフレームワークはどの程度有効か？

主な発見

• 膝MRIデータにおいて、DeepAtlasは1ショット設定で、教師なしアライメント手法と比較して2.7の絶対的Diceスコア向上を達成した。
• 脳MRIにおいては、1枚の画像しか手動でセグメンテーションしなかった場合、教師なしアライメント手法と比較してDiceスコアが1.8向上した。
• 5枚の手動ラベル付き膝画像を用いた場合、軟骨構造のセグメンテーションDiceスコアは、独立してトレーニングされたネットワークと比較して1.4〜1.5ポイント向上した。
• 5枚および10枚のラベル付き膝画像を用いた場合、軟骨のアライメント精度はそれぞれ5.5および5.2ポイントのDiceスコア向上を達成した。
• すべての設定において、共同トレーニング戦略（DA）は、別々にトレーニングされたモノネットワークを著しく上回り、FDR補正後のp < 0.05であった。
• 定性的な結果では、ベースライン手法と比較して、より解剖学的に整合性のあるアライメントとセグメンテーションが得られた。