[論文レビュー] Domain Generalization for Medical Imaging Classification with Linear-Dependency Regularization

Haoliang Li, Yufei Wang+4 more|arXiv (Cornell University)|Sep 27, 2020

Domain Adaptation and Few-Shot Learning参考文献 45被引用数 81

ひとこと要約

医療画像診断を対象に線形依存性ドメイン一般化（LDDG）を導入。潜在空間のランク制約と分布整合を課すことで、ターゲットドメインデータなしでもクロスドメイン一般化を改善。

ABSTRACT

Recently, we have witnessed great progress in the field of medical imaging classification by adopting deep neural networks. However, the recent advanced models still require accessing sufficiently large and representative datasets for training, which is often unfeasible in clinically realistic environments. When trained on limited datasets, the deep neural network is lack of generalization capability, as the trained deep neural network on data within a certain distribution (e.g. the data captured by a certain device vendor or patient population) may not be able to generalize to the data with another distribution. In this paper, we introduce a simple but effective approach to improve the generalization capability of deep neural networks in the field of medical imaging classification. Motivated by the observation that the domain variability of the medical images is to some extent compact, we propose to learn a representative feature space through variational encoding with a novel linear-dependency regularization term to capture the shareable information among medical data collected from different domains. As a result, the trained neural network is expected to equip with better generalization capability to the "unseen" medical data. Experimental results on two challenging medical imaging classification tasks indicate that our method can achieve better cross-domain generalization capability compared with state-of-the-art baselines.

研究の動機と目的

• ターゲットドメインデータが入手できない場合の医療画像におけるドメインシフトを動機づけ、対処する。
• ドメイン間で情報を共有する代表的な潜在特徴空間を学習する。
• 潜在特徴のランクをカテゴリ数と一致する固定ランクで正則化する。
• 潜在特徴分布をガウス prior に整列させてソースドメインへの過学習を低減する。

提案手法

• モデルは特徴抽出器 Q_theta、変分エンコーダ F_omega、線形分類器 T_phi を使用する。
• 潜在特徴に対してランクベースの正則化を課し、rank(Z)=C（クラス数）を維持してカテゴリ情報を捉える。
• KLダイバージェンスに基づく分布整合を適用し、複数のソースドメインからの潜在特徴をガウス prior N(0,1) に写像する。
• 合成損失で訓練する：L_obj = sum L_c(y_hat, y) + lambda1 L_rank + lambda2 KL(q(Z|X) || N(0,1))。
• Assumptions 1-2 の下でターゲットドメインリスクの理論的上界を提供し、関連する定理を証明する。
• 皮膚病変分類と脊髄灰質のセグメンテーションでクロスドメイン一般化の利得を示す実験。

実験結果

リサーチクエスチョン

• RQ1 潜在空間のランク制約は、複数の医用画像ドメイン間で共有情報を捉え、未見ドメインへの一般化を改善できるか。
• RQ2 KLダイバージェンスを介して潜在特徴を事前に定義した分布へ整列させることは、ソースドメインへの過学習を減らしターゲットドメインの性能を向上させるか。
• RQ3 提案手法と最先端のドメイン一般化ベースライン（皮膚病変分類と脊髄セグメンテーション）とどのように比較されるか。
• RQ4 潜在空間のランクを変えると一般化性能にどのような影響があるか。

主な発見

• LDDG は複数のターゲットドメインにおける皮膚病変分類で DeepAll, MASF, MLDG, CCSA のベースラインを上回る。
• 表1のターゲットドメイン間の平均で比較法の中で最高の性能を達成。
• アブレーションでは Rank と KL の両方の要素が一般化を改善し、rank(C)（クラス数に等しい）を用いたとき多くの設定で最高精度を達成。
• 核ノルムを用いたRank正則化は提案された rank(C) 制約と比較して劣ることが多く、カテゴリ情報を取り込む利点を強調。
• アブレーションでは rank と KL の併用が、いずれか一方よりも性能が良い。