[論文レビュー] Domain Adaptive Medical Image Segmentation via Adversarial Learning of Disease-Specific Spatial Patterns

Hongwei Li, Timo Loehr+4 more|arXiv (Cornell University)|Jan 25, 2020

Domain Adaptation and Few-Shot Learning参考文献 46被引用数 8

ひとこと要約

本論文は、少数のラベルなしのターゲットドメイン画像を用いて疾患特異的空間パターンを敵対的に学習することで、ドメイン間での一般化を向上させる、医療画像セグメンテーション向けの教師なしドメイン適応フレームワークを提案する。セマンティックおよび境界に注意を払うレイヤーを組み込み、アノテーションが得られない状況でも訓練を監視できる2つの新規指標を導入することで、クロスセンター脳病変セグメンテーションタスクで顕著な性能向上を達成するとともに、過学習を防ぐ。

ABSTRACT

In medical imaging, the heterogeneity of multi-centre data impedes the applicability of deep learning-based methods and results in significant performance degradation when applying models in an unseen data domain, e.g. a new centreor a new scanner. In this paper, we propose an unsupervised domain adaptation framework for boosting image segmentation performance across multiple domains without using any manual annotations from the new target domains, but by re-calibrating the networks on few images from the target domain. To achieve this, we enforce architectures to be adaptive to new data by rejecting improbable segmentation patterns and implicitly learning through semantic and boundary information, thus to capture disease-specific spatial patterns in an adversarial optimization. The adaptation process needs continuous monitoring, however, as we cannot assume the presence of ground-truth masks for the target domain, we propose two new metrics to monitor the adaptation process, and strategies to train the segmentation algorithm in a stable fashion. We build upon well-established 2D and 3D architectures and perform extensive experiments on three cross-centre brain lesion segmentation tasks, involving multicentre public and in-house datasets. We demonstrate that recalibrating the deep networks on a few unlabeled images from the target domain improves the segmentation accuracy significantly.

研究の動機と目的

• スキャナーやプロトコルの違いによる分布シフトにより、深層学習モデルの性能が低下するマルチセンター医療画像解析の分野において、ドメインシフトを解消すること。
• ターゲットドメインからの手動アノテーションを一切必要としない、教師なしドメイン適応（UDA）を実現すること。
• 少数のターゲットドメイン画像を用いたフェイントチューニングにより、ソースドメインの性能を維持しつつ、未知のドメインへの一般化性能を向上させること。
• ターゲットドメインに真値ラベルが入手できない状況下でも信頼性のある訓練監視メカニズムを構築すること。

提案手法

• 疾患特異的空間パターンを特徴分布に組み込むために、セマンティックおよび境界に注意を払うレイヤーを導入する。
• 敵対的訓練を用いて、ソースドメインとターゲットドメインの空間パターン分布を一致させ、ドメイン一般化性能を向上させる。
• セグメンテーションディスクラミネーターを用いて、現実的で一貫性のある予測を強制し、過学習を低減する。
• 真値ラベルが存在しない状況でも収束を監視できる2つの新規指標（予測の分散と差分）を提案する。
• 少数のラベルなしターゲット画像を用いて、事前学習済みのセグメンテーションネットワーク（2Dおよび3D）をファインチューニングし、モデルの再キャリブレーションを実施する。
• t-SNEを用いて特徴分布を可視化し、適応後における病変領域と非病変領域特徴の分離性向上を解釈する。

実験結果

リサーチクエスチョン

• RQ1 ラベルなしのターゲットデータを用いても、疾患特異的空間パターンの敵対的学習が、異なる画像ドメイン間でセグメンテーション性能を向上させられるか？
• RQ2 ターゲットドメインに真値ラベルが存在しない状況下で、教師なしドメイン適応プロセスを効果的に監視・安定化できるか？
• RQ3 セマンティックおよび境界に注意を払うレイヤーは、ドメイン不変の空間パターンを学習する能力をどの程度向上させるか？
• RQ4 提案手法は、ソースドメインでの過学習を防ぎつつ、ターゲットドメインでの性能向上を達成できるか？
• RQ5 予測の分散と差分は、UDA訓練の最適停止時刻を信頼性を持って特定できるか？

主な発見

• 提案手法は、クロスセンター脳病変セグメンテーションタスクにおいてDiceスコアを顕著に向上させ、全モジュールを適用した場合のUtrecht + Amsterdam → Singaporeタスクで73.9%のDiceスコアを達成した。
• アブレーションスタディの結果、マスクに加えてエッジマップおよび逆マップを組み込むことで、Diceスコアが6.8%向上した。
• 分散と差分の指標が、最適な停止時刻（255エポック目）を的確に特定しており、ターゲットドメインでほぼグローバル最大性能に達していることを示している。
• 特徴可視化の結果、UDA適応後、病変領域と非病変領域の特徴がより明確に分離されていることが確認され、特徴の識別能が向上していることが示された。
• 訓練全体にわたり、ソースドメインでの性能が安定しており、過学習が発生していないことが、一貫性のある検証指標から裏付けられた。
• 本手法は2Dおよび3Dアーキテクチャの両方で一般化可能であり、異なるネットワーク設計間でも堅牢で、転送性を示している。