[論文レビュー] Domain Adaptation for MRI Organ Segmentation using Reverse Classification Accuracy

Vanya V. Valindria, Ioannis Lavdas+6 more|arXiv (Cornell University)|Jun 1, 2018

Domain Adaptation and Few-Shot Learning参考文献 1被引用数 10

ひとこと要約

本論文は、逆分類精度（RCA）を用いて、アノテーションに最も情報を与える被験者を自動的に選択する、新しいドメイン適応フレームワーク、DARCAを提案する。この手法により、ラベル付け作業を顕著に削減できる。RCAから得られる最も信頼性が高く、最も信頼性が低い予測の組み合わせを選択することで、全ターゲットデータを用いた完全なファインチューニングと同等のセグメンテーション性能を達成しており、RCAを用いた被験者選択が、マルチセンターMRI臓器セグメンテーションにおいて、高い精度を維持しながらアノテーション負荷を効果的に低減できることを示している。

ABSTRACT

The variations in multi-center data in medical imaging studies have brought the necessity of domain adaptation. Despite the advancement of machine learning in automatic segmentation, performance often degrades when algorithms are applied on new data acquired from different scanners or sequences than the training data. Manual annotation is costly and time consuming if it has to be carried out for every new target domain. In this work, we investigate automatic selection of suitable subjects to be annotated for supervised domain adaptation using the concept of reverse classification accuracy (RCA). RCA predicts the performance of a trained model on data from the new domain and different strategies of selecting subjects to be included in the adaptation via transfer learning are evaluated. We perform experiments on a two-center MR database for the task of organ segmentation. We show that subject selection via RCA can reduce the burden of annotation of new data for the target domain.

研究の動機と目的

• 一つのスキャナーやプロトコルで訓練されたモデルを、異なる画像特性を持つ新しいドメインに展開した際の、MRI臓器セグメンテーション性能の低下という課題に対処すること。
• 新しいターゲットドメインの手動アノテーションにかかる高コストと長時間を削減するため、データ駆動の基準を用いて、ラベル付けに最も価値のある被験者を特定すること。
• 逆分類精度（RCA）が、ドメイン適応性能を最大化する被験者を効果的に代理して選択できるかを評価すること。
• RCAに基づくさまざまな被験者選択戦略（例：全ファインチューニングやランダム選択）を、ベースライン手法と比較して、教師ありドメイン適応において評価すること。
• トレーニングデータセットのサイズやサンプル構成（例：高信頼性および低信頼性予測の組み合わせ）がセグメンテーション性能に与える影響を調査すること。

提案手法

• 本手法は、ラベルなしのターゲットドメインデータに対するモデルのDice類似係数（DSC）を、真のラベルを必要とせずに予測する指標、逆分類精度（RCA）を用い、ターゲットドメイン被験者の情報量を順位付けする。
• まず、ソースドメイン（MALIBOデータセット）でモデルを訓練し、その後、そのベースラインモデルを用いて、ラベルなしのターゲットドメイン被験者（UK Biobankデータ）のRCAスコアを予測する。
• 被験者はRCAスコアに基づいて選択される：上位5名（最も信頼性が高い）と下位5名（最も信頼性が低い）の予測がアノテーション対象として選ばれ、ファインチューニングプロセスに組み込まれる。
• 選択された被験者を用いて、トランスファー学習によりソースモデルをファインチューニングし、全ターゲットテストセットにおけるDSCを用いて性能を評価する。
• 複数の戦略を比較する：全ターゲットデータを用いたファインチューニング、ランダム選択、上位5名のみ、下位5名のみ、および上位5名と下位5名の組み合わせ選択（実際のDSCとRCA予測DSCの両方を用いて）。
• 本手法は、2つのタスク（肝臓セグメンテーションおよび右腎臓セグメンテーション）で検証され、異なるスキャナーとプロトコルからの35例のソース被験者と45例のターゲット被験者を用いた。

実験結果

リサーチクエスチョン

• RQ1 逆分類精度（RCA）は、アノテーション済みのターゲットドメイン被験者を、ファインチューニング時の性能向上が最大となるように効果的に予測できるか？
• RQ2 RCAによる高信頼性および低信頼性の予測を組み合わせることで、上位または下位の被験者だけを選択するのと比較して、より優れたドメイン適応性能が得られるか？
• RQ3 全ターゲットデータを用いた完全なファインチューニングと比較して、DARCAの性能は、DSCおよびアノテーション効率の観点からどの程度優れているか？
• RQ4 RCAに基づく被験者選択は、全ターゲットデータで訓練を再開した場合と同等の性能を達成できるか？ その際、アノテーションコストを顕著に削減できるか？
• RQ5 異なる臓器セグメンテーションタスクやドメインシフトの程度が異なる状況において、RCAに基づく選択はどの程度頑健か？

主な発見

• RCAを用いて上位5名と下位5名の被験者を組み合わせて選択した結果、肝臓セグメンテーションのDSCは0.726を達成し、全45例のターゲットデータを用いた完全なファインチューニング（DSC：0.658）を上回った。
• 右腎臓セグメンテーションでは、RCAで選択された上位5名と下位5名の組み合わせがDSC 0.716を達成し、全データで訓練を再開した場合（DSC：0.719）と同等の性能であり、全データを用いたファインチューニングよりも顕著に優れていた。
• RCAに基づく上位5名と下位5名の被験者選択は、実際のDSCに基づく選択と同程度の結果を示し、RCAが性能予測の信頼性のある代理指標であることを示している。
• 疑似ラベルを用いたファインチューニングではノイズが導入され、性能が低下した。これは、本研究の教師ありドメイン適応設定において、疑似ラベル化が有益でないことを示している。
• RCAガイド付きの手法により、ターゲットデータの10%（10名）の被験者に限定してアノテーションを行うことで、アノテーション負荷を大幅に削減し、最小限のラベル付け作業で最先端の性能を達成した。
• 反復的アクティブラーニングの必要性が排除され、1ステップの選択とファインチューニングパイプラインが可能となり、従来の手法よりも高速かつ効率的であることが示された。