[論文レビュー] Contour Transformer Network for One-shot Segmentation of Anatomical Structures

Yuhang Lu, Kang Zheng+9 more|arXiv (Cornell University)|Dec 2, 2020

Medical Image Segmentation Techniques参考文献 50被引用数 4

ひとこと要約

本稿では、図形畳み込みネットワーク（GCNs）を用いて解剖的構造のセグメンテーションを境界の進化プロセスとしてモデル化する、ワンショット医療画像セグメンテーション手法であるContour Transformer Network（CTN）を提案する。形状、外観、エッジの一貫性損失を活用し、1つのラベル付き例例とラベルなし画像を用いることで、完全教師あり手法と同等の性能を達成し、部分的な境界補正による最小限のヒューマンインザループフィードバックによってもそれを上回る。

ABSTRACT

Accurate segmentation of anatomical structures is vital for medical image analysis. The state-of-the-art accuracy is typically achieved by supervised learning methods, where gathering the requisite expert-labeled image annotations in a scalable manner remains a main obstacle. Therefore, annotation-efficient methods that permit to produce accurate anatomical structure segmentation are highly desirable. In this work, we present Contour Transformer Network (CTN), a one-shot anatomy segmentation method with a naturally built-in human-in-the-loop mechanism. We formulate anatomy segmentation as a contour evolution process and model the evolution behavior by graph convolutional networks (GCNs). Training the CTN model requires only one labeled image exemplar and leverages additional unlabeled data through newly introduced loss functions that measure the global shape and appearance consistency of contours. On segmentation tasks of four different anatomies, we demonstrate that our one-shot learning method significantly outperforms non-learning-based methods and performs competitively to the state-of-the-art fully supervised deep learning methods. With minimal human-in-the-loop editing feedback, the segmentation performance can be further improved to surpass the fully supervised methods.

研究の動機と目的

• 正確なセグメンテーションモデルを訓練するためのエキスパートアノテート医療画像データの限界に取り組むこと。
• 大規模な外部データセットに依存しない、1つのラベル付き例例と複数のラベルなし画像のみを必要とするワンショットセグメンテーション手法を開発すること。
• 部分的な境界補正を通じて性能を向上させる効率的なヒューマンインザループメカニズムを統合すること。
• 異なるレントゲン画像間で一貫した形状と外観パターンを示す解剖的構造の固有の規則性を活用し、半教師あり学習を実現すること。
• 関節間隔測定など、臨床応用において正確性が極めて重要な分野で高精度なセグメンテーションを達成すること。

提案手法

• 形状と外観の進化をモデル化するため、段階的な図形畳み込みネットワーク（GCN）によって誘導される境界の進化プロセスとしてセグメンテーションを定式化する。
• 3つの微分可能な損失関数を導入する：境界の知覚損失（VGG特徴空間における外観類似性用）、境界の曲げ損失（薄板スプラインエネルギーを用いた形状類似性用）、エッジ損失（境界の一貫性用）。
• 例例の境界を初期化として用い、3つの損失関数を用いてラベルなし画像上で境界を進化させ、グローバルな形状と外観の一貫性を強制する。
• 手動による補正を部分的な境界とみなしてヒューマンインザループフィードバックを統合し、チャムファーロスを用いてモデルを微調整する。
• 外部のラベル付きデータセットを必要としない、ラベルなしデータを活用する半教師あり学習戦略を採用する。
• 2次元の境界ベース表現を用いることで、画像間でのセグメンテーション形状と境界特徴の直接比較を可能にする。

実験結果

リサーチクエスチョン

• RQ1 1つのラベル付き例例とラベルなしデータのみを用いて、非学習ベースのワンショットセグメンテーション手法が完全教師あり手法と同等の性能を達成できるか？
• RQ2 異なるレントゲン画像における解剖的構造の形状と外観類似性を、半教師あり学習に効果的に活用できるか？
• RQ3 最小限のアノテーション作業で精度を向上させられるように、ヒューマンインザループメカニズムをワンショットセグメンテーションにネイティブに統合できるか？
• RQ4 境界ベース表現と図形畳み込みネットワークは、医療画像における解剖的境界の進化を効果的にモデル化できるか？
• RQ5 部分的な手動補正を組み込むことで、ワンショットセグメンテーションモデルの性能にどのような影響を与えるか？

主な発見

• CTNは、非学習ベースのワンショットセグメンテーション手法を著しく上回り、DeepLabなどの最先端の完全教師ありモデルと同等の性能を4つのレントゲン画像セグメンテーションタスクで達成した。
• 追加のラベルなしデータを活用することで、追加のアノテーションなしに完全教師あり手法の性能に到達した。
• ヒューマンインザループフィードバックとして部分的な境界補正を組み込むことで、CTNはすべての完全教師あり手法を上回った。特にHD指標において顕著な向上が見られ、フィードバック機構の有効性が裏付けられた。
• モデルは高い推論速度を維持しており、15.39 FPSを達成し、フラuroスコピック撮影レート（15 FPS）を超えており、リアルタイム臨床応用への可能性を示した。
• 境界の曲げ損失は形状進化を効果的に正則化し、鋭い形状変化に敏感に反応させ、不規則なセグメンテーションを低減した。
• ImageNetで事前学習されたVGG特徴空間で計算される境界の知覚損失は、顕著な構造的パターンを捉え、低レベルの画像変動に対して頑健である。