[論文レビュー] Self domain adapted network

Yufan He, Aaron Carass+3 more|arXiv (Cornell University)|Jul 7, 2020

Domain Adaptation and Few-Shot Learning参考文献 26被引用数 4

ひとこと要約

本稿では、自己教師ありドメイン適応手法であるSelf Domain Adapted Network (SDA-Net)を提案する。この手法は、再訓練やソースデータへのアクセスが不要な状態で、推論時に1人の被験者に対して迅速に事前学習済みモデルを適応させる。自己オートエンコーダーをドメイン整合性の指標として用い、ピクセル、特徴量、出力空間に可学習なアダプターを適用することで、網膜層セグメンテーションおよびT1からT2へのMRI合成において顕著な性能向上を達成した。被験者1人あたりの適応にわずか30秒で実現可能である。

ABSTRACT

Domain shift is a major problem for deploying deep networks in clinical practice. Network performance drops significantly with (target) images obtained differently than its (source) training data. Due to a lack of target label data, most work has focused on unsupervised domain adaptation (UDA). Current UDA methods need both source and target data to train models which perform image translation (harmonization) or learn domain-invariant features. However, training a model for each target domain is time consuming and computationally expensive, even infeasible when target domain data are scarce or source data are unavailable due to data privacy. In this paper, we propose a novel self domain adapted network (SDA-Net) that can rapidly adapt itself to a single test subject at the testing stage, without using extra data or training a UDA model. The SDA-Net consists of three parts: adaptors, task model, and auto-encoders. The latter two are pre-trained offline on labeled source images. The task model performs tasks like synthesis, segmentation, or classification, which may suffer from the domain shift problem. At the testing stage, the adaptors are trained to transform the input test image and features to reduce the domain shift as measured by the auto-encoders, and thus perform domain adaptation. We validated our method on retinal layer segmentation from different OCT scanners and T1 to T2 synthesis with T1 from different MRI scanners and with different imaging parameters. Results show that our SDA-Net, with a single test subject and a short amount of time for self adaptation at the testing stage, can achieve significant improvements.

研究の動機と目的

• 異なるスキャナーまたはプロトコルからのテストデータがモデル性能を低下させる臨床的ディープラーニングにおけるドメインシフトの課題に対処すること。
• 各ターゲットドメインに対して再訓練が必要であり、ターゲットまたはソースデータへのアクセスを要する従来の非教師ありドメイン適応（UDA）手法の限界を克服すること。
• 特にデータプライバシー制約下において、追加のデータやモデル再訓練なしに、推論時に迅速かつ1人分の被験者に対して適応可能にする。
• セグメンテーションや画像合成といった医療画像処理タスクにおいて、多様な画像パrameterやスキャナー種別に対しても高い性能を維持する手法の開発。

提案手法

• SDA-Netは3つの構成要素からなる：タスク用に事前学習済みのネットワーク（T）、ドメイン整合性を測定するための事前学習済み自己オートエンコーダー（AEs）、および特徴量と画像変換のための可学習アダプター。
• 推論時、アダプターは1つのターゲット被験者に対して訓練され、自己オートエンコーダーの再構成誤差を最小化することで、ピクセル、特徴量、出力空間においてターゲットドメインをソースドメインと整合させる。
• 自己オートエンコーダーは再構成誤差を測定することでドメイン整合性の指標として機能し、誤差が小さいほどソースドメインの分布に近いことを示す。
• アダプターは複数の段階に適用される：入力画像（Ax）、中間特徴量（Ai）、ネットワーク出力（Ao）であり、適応中はAxとAiのみが学習される。
• 簡潔さを保つために1×1畳み込み（アブレーションでは3×3）を用い、GANベース手法で一般的な幾何的歪みや特徴量の捏造を回避する。
• 訓練は、タスクネットワークと自己オートエンコーダーを固定した状態で、1つのテスト被験者に対してエンドツーエンドで実行され、1つのGPUで約30秒の高速適応が可能である。

実験結果

リサーチクエスチョン

• RQ1 ソースデータやターゲットラベルへのアクセスがなく、再訓練を行わず、推論時に1人の被験者に対して迅速に適応可能なディープラーニングモデルを構築できるか？
• RQ2 自己オートエンコーダーの再構成誤差が、医療画像適応における効果的で微分可能かつ有用なドメイン整合性指標として機能できるか？
• RQ3 入力、特徴量、出力に可学習アダプターを適用して再構成誤差を最小化することで、低データ環境下で従来のUDA手法を上回る性能が得られるか？
• RQ4 軽量なアダプター設計は、幾何的歪みや特徴量の捏造を回避しながら、Cycle-GANのような複雑なGANベース手法と同等の性能を達成できるか？

主な発見

• 網膜層セグメンテーションにおいて、異なるOCTスキャナー間で顕著な性能向上を達成し、HHデータセットではベースライン（NA）比でMSEが16.8%相対的に低減した。
• T1からT2へのMRI合成において、HHデータセットではMSEが0.168（±0.040）、GHデータセットでは0.233（±0.055）にまで低下し、ヒストограмマッチング、スタイル転送、Cycle-GANベースラインを上回った。
• 合成T2画像のSSIMスコアはHHで0.693（±0.039）、GHで0.658（±0.043）に達し、高品質な視覚的類似性とソースドメイン特徴量との整合性を示した。
• 被験者1人あたり30秒の適応時間で、Cycle-GANと同等または優れた結果を達成した一方で、GAN特有のアーティファクト（幾何的シフト、特徴量の捏造）を回避した。
• 3×3カーネルアダプターを用いたOurs-3×3バージョンは、セグメンテーション性能をさらに向上させ、タスク固有のアダプター設計が適応性能を向上させることを示した。
• 適応は高速かつ効率的であり、適応なしでは5秒の推論時間、適応には1人あたり約30秒で実現可能で、臨床現場への導入に実用的である。