[論文レビュー] Learning to Unlearn: Building Immunity to Dataset Bias in Medical Imaging Studies

Ahmed Ashraf, Shehroz S. Khan+3 more|arXiv (Cornell University)|Dec 3, 2018

Domain Adaptation and Few-Shot Learning参考文献 8被引用数 19

ひとこと要約

本稿では、脳MRI画像におけるデータセット固有のバイアスを解消するためのフレームワークを提案する。この手法は、データを特徴空間にマッピングすることで、研究参加者の所属データセットを識別不能にするが、MCI対健康な状態といった臨床変数の分類性能は維持する。この方法により、ナードリグレッションのleave-one-dataset-out法と比較して平均AUCが47ポイント向上し、データセット内ベースラインと比較して性能低下を20％未満に抑えることが可能となった。

ABSTRACT

Medical imaging machine learning algorithms are usually evaluated on a single dataset. Although training and testing are performed on different subsets of the dataset, models built on one study show limited capability to generalize to other studies. While database bias has been recognized as a serious problem in the computer vision community, it has remained largely unnoticed in medical imaging research. Transfer learning thus remains confined to the re-use of feature representations requiring re-training on the new dataset. As a result, machine learning models do not generalize even when trained on imaging datasets that were captured to study the same variable of interest. The ability to transfer knowledge gleaned from one study to another, without the need for re-training, if possible, would provide reassurance that the models are learning knowledge fundamental to the problem under study instead of latching onto the idiosyncracies of a dataset. In this paper, we situate the problem of dataset bias in the context of medical imaging studies. We show empirical evidence that such a problem exists in medical datasets. We then present a framework to unlearn study membership as a means to handle the problem of database bias. Our main idea is to take the data from the original feature space to an intermediate space where the data points are indistinguishable in terms of which study they come from, while maintaining the recognition capability with respect to the variable of interest. This will promote models which learn the more general properties of the etiology under study instead of aligning to dataset-specific peculiarities. Essentially, our proposed model learns to unlearn the dataset bias.

研究の動機と目的

• 医用画像におけるデータセットバイアスに対処すること。具体的には、モデルが研究固有の特徴に過剰適合するのではなく、一般化可能な特徴を学習することを目的とする。
• ターゲットデータセットの再トレーニングなしに、データセット間一般化を可能とすることにより、根本的な疾患関連パターンを学習するモデルの構築を促進すること。
• 元々は人種や性別といった感受性のある属性を対象として開発された公平な表現学習技術を、医用画像におけるデータセット所属の隠蔽に応用すること。
• 4つの脳MRIデータセットを用いたMCI対健康な状態分類の文脈で、leave-one-dataset-out戦略を用いて手法を評価すること。
• データセット所属の学習を解くことで、性能劣化が最小限に抑えられ、より強固で一般化可能なモデルが得られることを示すこと。

提案手法

• 深層オートエンコーダにプロトタイプベースの正則化成分を組み合わせることで、入力特徴を特徴空間にマッピングし、異なるデータセットに属するデータポイントが区別不能になるように制御する。
• 分類器が入力の元データセットを予測できないようにすることで、ドメイン不変表現を学習する。同時に、臨床的ターゲット（例：MCI 対 健康）の分類精度を最大化する。
• 再構成損失、分類損失（ソフトマックス）、ドメイン識別損失を組み合わせた目的関数を用い、モデルがデータセット所属を学習しなくなるように促進する。
• マルチヘッドアーキテクチャを採用：1つのヘッドは分類用、もう1つのヘッドはドメイン識別用。後者は特徴表現にだまされるように adversarially 学習される。
• トレードオフ重み（αJ, αE, αL）やL2正則化などのハイパーパrameterは、ROC-AUC最適化を目的としたネストド leave-one-dataset-out 交差検証により調整される。
• 評価はleave-one-dataset-outプロトコルに従い、トレーニング中にターゲットデータが一切使用されないことを保証する。性能はAUCとデータセット内ベースラインとの相対的性能低下率で測定される。

実験結果

リサーチクエスチョン

• RQ1 入力画像が属するデータセットを識別できないようにしながら、臨床的アウトカム（例：MCI 対 健康）を分類できる深層学習モデルを訓練可能か？
• RQ2 データセット所属の学習を解くことで、標準的なleave-one-dataset-out法やバイアスのないSVMベースラインと比較して、データセット間一般化性能が向上するか？
• RQ3 提案手法を用いた場合、データセット間モデルの性能低下は、データセット内ベースラインと比較してどの程度に抑えられるか？
• RQ4 ADNI1、ADNI2、AIBLなどの異なるデータセットは、それぞれどのような特徴的パターン（idiosyncratic footprint）を示し、それが一般化性能にどのように影響するか？
• RQ5 公平な表現学習から適応されたフレームワークは、医用画像におけるデータセットバイアスを効果的に軽減できるか？

主な発見

• 提案手法は、すべてのleave-one-dataset-out実験で平均AUC 0.72を達成し、ナードリグレッションのleave-one-dataset-outベースライン（全データセットでAUC < 0.5、すなわち運の要素）を著しく上回った。
• ナードリグレッションのleave-one-dataset-outベースラインと比較して平均47ポイントのAUC向上を達成し、バイアスのないSVMベースラインと比較しても18ポイントの向上を示した。
• すべてのデータセットで、データセット内分類と比較した相対的性能低下が20％未満に抑えられ、強力な一般化能力を示した。
• ADNI1とADNI2は「研究名を特定せよ」タスクでより識別されやすく、より顕著なデータセット固有の特徴を示していた。一方、AIBLは他のデータセットと類似性が高く、より良好に一般化していた。
• 提案手法は、全データセットで両方のベースラインを常に上回り、データセット固有の変動に対して高いロバストネスを示した。
• 結果から、データセット所属の学習を解くことで、データセット固有のアーティファクトではなく、より一般化可能で病因的関連性の高い特徴を学習するモデルが得られることを確認した。