[論文レビュー] Domain Generalization via Invariant Feature Representation

Krikamol Muandet, David Balduzzi+1 more|arXiv (Cornell University)|Jan 10, 2013

Domain Adaptation and Few-Shot Learning参考文献 22被引用数 582

ひとこと要約

本稿では、複数の訓練ドメイン間での分布の違いを最小化するとともに、入力と出力の条件付き関係を保持する変換を学習するカーネルベースの手法であるドメイン不変成分分析（DICA）を提案する。DICAは不変特徴を抽出することで、フローサイトメトリーおよびパーキンソン病の遠隔モニタリングなど、実世界のデータセットにおける分類および回帰タスクにおいて、既存手法を上回る汎化性能を達成する。

ABSTRACT

This paper investigates domain generalization: How to take knowledge acquired from an arbitrary number of related domains and apply it to previously unseen domains? We propose Domain-Invariant Component Analysis (DICA), a kernel-based optimization algorithm that learns an invariant transformation by minimizing the dissimilarity across domains, whilst preserving the functional relationship between input and output variables. A learning-theoretic analysis shows that reducing dissimilarity improves the expected generalization ability of classifiers on new domains, motivating the proposed algorithm. Experimental results on synthetic and real-world datasets demonstrate that DICA successfully learns invariant features and improves classifier performance in practice.

研究の動機と目的

• 訓練ドメインとテストドメインの入力分布が異なるが、安定した条件付き関係（P(Y|X)）を共有するドメイン一般化問題に対処すること。
• 訓練段階でテストドメインのデータにアクセスできない状況でも、未観測ドメインに一般化できる手法を開発すること。
• ドメイン間の分布差を最小化しつつ予測関係を保持する不変特徴を抽出すること。
• 分布の分散低減と新ドメインにおける一般化誤差の改善の間の理論的基盤を提供すること。
• KPCA、TCA、COIRなどの既存手法を統一的かつ一般化された不変表現フレームワークに統合すること。

提案手法

• DICAは、複数のドメインにおける入力特徴の周辺分布の乖離を最小化するカーネルベースの最適化問題を定式化する。
• 特徴空間におけるドメイン間の分布差を測定・最小化するために、ヒルバート＝シュミット独立性基準（HSIC）を用いる。
• 変換がドメイン間で条件付き分布P(Y|X)を維持するように制約を課すことにより、入力と出力の関数的関係を保つ。
• 表現定理を用いて解をカーネル展開の形で表現し、固有値分解を用いた計算の効率化を実現する。
• 最適化にドメイン不変制約と出力依存制約を組み合わせることで、KPCA、TCA、COIRを一般化する。
• 出力分布の被験的変動をモデル化する分布型ガウス過程回帰を用いて、回帰への応用を拡張する。

実験結果

リサーチクエスチョン

• RQ1 複数の訓練ドメインにわたって不変な特徴表現を学習しつつ、P(Y|X)の条件付き関係を保持することは可能か？
• RQ2 ドメイン間の分布差を最小化することで、未観測ドメインにおける一般化性能が向上するか？
• RQ3 DICAはKPCA、TCA、COIRといった既存手法とどのように関係し、それらをどのように一般化するか？
• RQ4 分布の分散と一般化誤差の間の理論的関係は、実験的に検証可能か？
• RQ5 出力空間におけるドメイン間の変動（例：分布型GP回帰による）を組み込むことで、性能がさらに向上するか？

主な発見

• パーキンソン病の遠隔モニタリングデータセットにおいて、DICAはモータリー評価スコアおよび総合UPDRSスコアの両方で、RMSEがそれぞれ8.35 ± 0.82および10.02 ± 1.01と、すべてのベースラインを上回った。
• フローサイトメトリー分類タスクでは、DICAはプーリングベースおよび分布型SVMと比較して、未観測被験者における一般化性能を顕著に向上させた。
• 理論的分析により、新ドメインにおける一般化誤差は分布の分散に比例して増加することが示され、ドメイン間分布差を最小化するという基本的動機の妥当性が裏付けられた。
• DICAはKPCA、TCA、COIRを一般化し、不変表現学習のための包括的かつ汎用性の高いフレームワークであることが示された。
• 被験者間の変動を考慮する分布型GP回帰は、標準的なプーリングベースのGP回帰よりも一般化性能をさらに向上させた。
• 実験的結果により、DICAがドメイン間の変動を低減することで、実世界の医療応用においてより頑健で転送可能なモデルが得られることを確認した。