[論文レビュー] Learn to Expect the Unexpected: Probably Approximately Correct Domain Generalization

Vikas Garg, Adam Tauman Kalai+2 more|arXiv (Cornell University)|Feb 13, 2020

Domain Adaptation and Few-Shot Learning参考文献 39被引用数 6

ひとこと要約

本稿では、メタ分布から抽出された複数のドメインからのデータセットを用いて学習する、新しいProbably Approximately Correct (PAC)ドメイン一般化フレームワークを提案する。このアプローチにより、未学習ドメインに対しても一般化が可能になる。本手法は、3つの設定（Massartノイズ、決定木、特徴選択）において、頑健な特徴選択と効率的なアルゴリズムを用い、誤った相関関係をフィルタリングすることで、ドメイン間一般化性能を向上させることを示しており、学習セットとは異なる100大学のウェブページを用いた実証的検証も行われている。

ABSTRACT

Domain generalization is the problem of machine learning when the training data and the test data come from different data domains. We present a simple theoretical model of learning to generalize across domains in which there is a meta-distribution over data distributions, and those data distributions may even have different supports. In our model, the training data given to a learning algorithm consists of multiple datasets each from a single domain drawn in turn from the meta-distribution. We study this model in three different problem settings---a multi-domain Massart noise setting, a decision tree multi-dataset setting, and a feature selection setting, and find that computationally efficient, polynomial-sample domain generalization is possible in each. Experiments demonstrate that our feature selection algorithm indeed ignores spurious correlations and improves generalization.

研究の動機と目的

• ドメイン一般化をデータドメインのメタ分布として形式化し、未学習ドメインへの一般化の理論的分析を可能にする。
• 学習データとテストデータが異なるドメインに由来し、サポートが重複しない可能性がある状況において、頑健なモデルを学習する課題に対処する。
• ドメイン固有の特徴に依存せずに、ドメイン間で一般化可能な計算効率の良いアルゴリズムを開発する。
• ドメイン間で分散が大きい特徴を除外することで、未学習の大学における性能が向上することを実証的に検証する。

提案手法

• 学習データが複数のドメイン固有のデータセットから成る、データ分布のメタ分布によるドメイン一般化のモデル化。
• 複数ドメインにおけるMassartノイズ学習を、ランダム分類ノイズ下での標準PAC学習への還元を提案する。
• すべての例がターゲット木の1つのリーフに属するという仮定の下で、PAC学習における決定木の学習に$O(n + s)$時間の効率的アルゴリズムを設計する。
• ドメイン間での相関の頑健性に基づき、特徴を選択する特徴選択アルゴリズム（FSUS）を導入する。相関係数の標準偏差が大きいものをペナルティ付ける。
• 正則化スコア$s_k = |\rho_k| - \alpha \cdot \text{stdev}(\rho_k^1, \dots, \rho_k^d)$を用いて、ドメイン間で予測可能な特徴を特定する。
• バランス誤差率を指標として用い、4大学のウェブページデータセットで学習し、100の未学習大学でテストすることで、手法の実証的評価を実施する。

実験結果

リサーチクエスチョン

• RQ1 ドメインが異なるサポートやノイズ率を持つ複数ドメイン設定において、計算的に効率的なドメイン一般化が可能か？
• RQ2 ドメイン間で変動する誤った相関関係を特定・除外できる特徴選択手法をどのように設計できるか？
• RQ3 データにドメイン固有の構造を活用することで、ドメインシフト下での決定木学習の複雑さを低減できるか？
• RQ4 ドメイン間で特徴の相関が頑健であることは、未学習ドメインへの一般化性能の向上と相関するか？
• RQ5 ドメインのメタ分布モデルは、標準PAC学習に比べて、インサンプルおよびアウトオブサンプル一般化保証を強化できるか？

主な発見

• 提案された特徴選択アルゴリズム（FSUS）は、全分類器および全特徴数において、標準ベースラインを上回るバランス誤差率を達成した。特に複数ドメインでの学習時において顕著な向上を示した。
• アルゴリズムは、ドメイン間で分散が大きい特徴（例：ダウンロード時間と相関する語「19」）を自動で特定・除外した。
• ウェブページデータセットにおいて、学習セットにその大学のデータが一切含まれていなかったにもかかわらず、100の未学習大学への一般化性能がベースラインを上回った。
• 決定木アルゴリズムは$O(n + s)$の実行時間となり、同じ構造的仮定下で、元の$n^{O(\log s)}$のベースラインを著しく改善した。
• K=1から4までの検証誤差推定値は、異なる数の学習ドメインにおいて一貫した性能向上を示し、ドメイン分割に対して頑健であることを示した。
• 正則化パrameter $\alpha$ のチューニングが性能にほとんど影響しなかったため、手法がハイパーパrameterの選択に強く依存せず、安定していることが示された。