[論文レビュー] Domain Adaptive Relational Reasoning for 3D Multi-Organ Segmentation

Shuhao Fu, Yongyi Lu+5 more|arXiv (Cornell University)|May 18, 2020

Domain Adaptation and Few-Shot Learning参考文献 35被引用数 15

ひとこと要約

本稿では、CTスキャンにおける3次元マルチ臓器セグメンテーションのための、未学習ドメイン適応手法であるドメイン適応的関係推論（DARR）を提案する。DARRは、画像パッチ上でジャイガーパズルを解くことで学習される臓器間の空間的関係に加え、解像度の標準化とテスト時適応を実現するスーパー解像化ネットワークを活用し、トレーニング時にターゲットドメインデータを一切使用せずに、ターゲットデータセットでのDice類似係数（DSC）を平均29.6%向上させる。

ABSTRACT

In this paper, we present a novel unsupervised domain adaptation (UDA) method, named Domain Adaptive Relational Reasoning (DARR), to generalize 3D multi-organ segmentation models to medical data collected from different scanners and/or protocols (domains). Our method is inspired by the fact that the spatial relationship between internal structures in medical images is relatively fixed, e.g., a spleen is always located at the tail of a pancreas, which serves as a latent variable to transfer the knowledge shared across multiple domains. We formulate the spatial relationship by solving a jigsaw puzzle task, i.e., recovering a CT scan from its shuffled patches, and jointly train it with the organ segmentation task. To guarantee the transferability of the learned spatial relationship to multiple domains, we additionally introduce two schemes: 1) Employing a super-resolution network also jointly trained with the segmentation model to standardize medical images from different domain to a certain spatial resolution; 2) Adapting the spatial relationship for a test image by test-time jigsaw puzzle training. Experimental results show that our method improves the performance by 29.60% DSC on target datasets on average without using any data from the target domain during training.

研究の動機と目的

• 異なるCTスキャナーや画像取得プロトコルに跨るモデルの転送時に生じる顕著な性能低下を是正すること。
• ターゲットドメインのラベル付きデータを一切要件としない、モデルの未学習ドメインへの一般化を向上させること。
• 臓器間の空間的整合性という内在的性質を、未学習ドメイン適応のドメイン不変のインダクティブバイアスとして活用すること。
• 再トレーニングを必要とせず、臨床現場の多様な画像プロトコルに即座に適応可能な手法の開発

提案手法

• 3次元パッチをシャッフルした状態から元のCTスキャンを再構成するジャイガーパズルタスクとして、空間的臓器関係を定式化し、転送可能で強固な空間的事前知識を学習する。
• セグメンテーションとパズル解法のヘッドと同時に学習するスーパー解像化ネットワークを統合し、異なるドメインからの低解像度入力を共通の解像度に標準化する。
• 再トレーニングを一切行わず、1つのラベルなしテストケースに対してテスト時ジャイガーパズル学習を適用することで、ターゲットドメインの分布にモデルを適応させる。
• マルチタスク学習フレームワークを用いて、セグメンテーション、パズル解法、スーパー解像化のタスクを同時に最適化し、特徴の強靭性と関係的一般化を向上させる。
• Jensen–Shannonダイバージェンスを用いて、異なるデータセット間での臓器位置分布の安定性を検証し、空間的関係をドメイン不変の信号として使用する根拠を裏付ける。

実験結果

リサーチクエスチョン

• RQ1 3次元CTスキャンにおける臓器間の空間的関係は、マルチ臓器セグメンテーションにおける未学習ドメイン適応のための強固でドメイン不変のインダクティブバイアスとして機能するか？
• RQ2 ラベル付きターゲットデータを一切使用せずに、多様なCTスキャナーやプロトコル間でのモデル一般化をどのように向上させられるか？
• RQ3 ジャイガーパズルによるテスト時適応は、未学習のターゲットドメインにおける性能向上に寄与するか？
• RQ4 スーパー解像化と関係的推論を併用することで、ドメインシフトに伴う特徴学習とセグメンテーション精度はどの程度向上するか？

主な発見

• DARRは、トレーニング時にターゲットドメインのアノテーションを一切使用せず、5つの公開ターゲットデータセットにおいて平均29.6%のDice類似係数（DSC）向上を達成した。
• VNET-SRバージョンは、NIHパンクレアスデータセットで最大25.16%のDSC向上を達成し、解像度の不一致に対処するスーパー解像化の有効性を示した。
• VNET-Puzzleバージョンは、MSDパンクレアスデータセットで最大31.70%のDSC向上を達成し、関係的推論が特徴学習を強化することを確認した。
• 完全なDARRモデルは、MSDスプリーブとNIHパンクレアスデータセットの両方で、下限値比で40%以上のDSC向上を達成し、SIFAやGANベースの手法を上回った。
• 定性的な結果から、DARRは左腎臓と右腎臓の空間的配置を学習することで、ベースラインモデルとは異なりそれらを明確に区別できていることが示された。
• アブレーションスタディの結果、スーパー解像化モジュールとパズル解法モジュールの両方が、独立的かつ相乗的に性能向上に寄与していることが確認された。