[論文レビュー] Domain Generalization by Marginal Transfer Learning

Gilles Blanchard, Aniket Anand Deshmukh+3 more|arXiv (Cornell University)|Nov 21, 2017

Domain Adaptation and Few-Shot Learning参考文献 101被引用数 146

ひとこと要約

研究はドメイン一般化を特徴量の周辺分布を含む拡張特徴空間での教師あり学習として再定義し、2つのデータ生成モデルの下で分析された普遍的一貫性カーネル法を提案し、合成データと実データで検証する。

ABSTRACT

In the problem of domain generalization (DG), there are labeled training data sets from several related prediction problems, and the goal is to make accurate predictions on future unlabeled data sets that are not known to the learner. This problem arises in several applications where data distributions fluctuate because of environmental, technical, or other sources of variation. We introduce a formal framework for DG, and argue that it can be viewed as a kind of supervised learning problem by augmenting the original feature space with the marginal distribution of feature vectors. While our framework has several connections to conventional analysis of supervised learning algorithms, several unique aspects of DG require new methods of analysis. This work lays the learning theoretic foundations of domain generalization, building on our earlier conference paper where the problem of DG was introduced (Blanchard et al., 2011). We present two formal models of data generation, corresponding notions of risk, and distribution-free generalization error analysis. By focusing our attention on kernel methods, we also provide more quantitative results and a universally consistent algorithm. An efficient implementation is provided for this algorithm, which is experimentally compared to a pooling strategy on one synthetic and three real-world data sets.

研究の動機と目的

• 新しいタスクに対するラベル付きデータがない状態で、分布的に異なる複数の関連タスクにわたって予測モデルを一般化する動機。
• 標準的な教師あり学習手法を有効にするため、周辺 X-分布で特徴を拡張する周辺転送学習フレームワークの提案。
• ドメイン一般化のための2つの統計的生成モデルの開発と、それに伴うリスクおよび一般化分析。
• 拡張空間内での分布に依存しないカーネル法の構築と、両方のモデル下での普遍的一貫性の実証。

提案手法

• 未見のタスクに対する予測を生成するため、拡張入力 (P_X, x) 上の学習としてドメイン一般化を定式化。
• アグノスティック生成モデル (AGM) と2段階生成モデル (2SGM) に対応する2つのリスク概念の定義。
• AGM設定においてRademacher- Campbell測度系を用いた分布自由な一般化境界の導出。
• 拡張特徴空間上のカーネル機械の導入と、AGMおよび2SGMの両方での普遍的一貫性保証。
• ランダムFourier特徴の拡張に基づく効率的実装とランダム特徴近似誤差の解析。
• 1つの合成データと3つの実世界データセットでの実証評価、プーリングベースラインとの比較、さらに自由に利用可能なコード。

実験結果

リサーチクエスチョン

• RQ1 入力を特徴量の周辺分布で拡張して標準的な教師あり学習問題を form することで、ドメイン一般化は解決できるか。
• RQ2 異なるデータ生成仮定の下で、このような拡張空間手法の一般化保証とリスク境界は何か。
• RQ3 アグノスティックおよび2段階生成モデルの両方で、DGに対する普遍的一貫性を持つカーネルベースのアルゴリズムは存在するか。
• RQ4 提案手法は、合成データと実世界のドメイン一般化タスクにおけるプーリング戦略と比べてどう性能か。

主な発見

• 周辺 X-分布を組み込んだ拡張空間上の教師あり問題としてDGを再定義する周辺転送学習の視点。
• 著者らは、AGMおよび2SGMの下で、分布自由な一般化境界とカーネルベースのDG手法の普遍的一貫性を確立。
• ランダムフーリエ特徴による効率的なカーネル実装が提供され、近似誤差が分析されている。
• 提案手法は、合成データと3つの実データセットにおいてプーリング戦略と比較して競争力のある性能を実証的に示した。
• アルゴリズムを実装したコードは再現性のために公開されている。