[論文レビュー] Semi-Generative Modelling: Covariate-Shift Adaptation with Cause and Effect Features

Julius von Kügelgen, Alexander Mey+1 more|arXiv (Cornell University)|Jul 20, 2018

Neural Networks and Applications被引用数 13

ひとこと要約

本稿では、原因特徴量（$X_C$）と効果特徴量（$X_E$）を併用することで、半教師あり学習における共変量シフトの適応を向上させる、半生成的モデル $P(Y,X_E|X_C,\theta)$ を提案する。未ラベルのターゲットデータを用いて原因から効果への直接的マッピングをモデル化することで、合成および現実世界の分類・回帰タスクにおいて、完全に教師ありおよび重要度重み付けベースラインを上回る顕著な性能向上を達成する。

ABSTRACT

Current methods for covariate-shift adaptation use unlabelled data to compute importance weights or domain-invariant features, while the final model is trained on labelled data only. Here, we consider a particular case of covariate shift which allows us also to learn from unlabelled data, that is, combining adaptation with semi-supervised learning. Using ideas from causality, we argue that this requires learning with both causes, $X_C$, and effects, $X_E$, of a target variable, $Y$, and show how this setting leads to what we call a semi-generative model, $P(Y,X_E|X_C,θ)$. Our approach is robust to domain shifts in the distribution of causal features and leverages unlabelled data by learning a direct map from causes to effects. Experiments on synthetic data demonstrate significant improvements in classification over purely-supervised and importance-weighting baselines.

研究の動機と目的

• ターゲットドメインにおけるラベル付きデータが限られる状況下で、共変量シフトの適応をどう克服するかという課題に取り組む。
• 因果構造が既知である条件下で、共変量シフト仮定のもとでの半教師あり学習の可能性を検討する。
• 原因および効果特徴量の両方を活用することで、ターゲットドメインにおける未ラベルデータを統合的に学習する手法を開発する。
• 独立同分布（i.i.d.）データを仮定する伝統的な半教師あり学習の制限を、因果構造を組み込むことで克服する。
• 重要度重み付けと効果特徴量の非教師付きモデリングを統合した、ドメイン適応に耐性のあるフレームワークを提供する。

提案手法

• 原因特徴量 $X_C$ を与えたもとで、目的変数 $Y$ と効果特徴量 $X_E$ の同時分布をモデル化する半生成的モデル $P(Y,X_E|X_C,\theta)$ を提案する。
• 未ラベルのターゲットドメインデータを用いて、$P(X_C, X_E|D=1)$ を推定し、これを $P(X_C|D=1)P(X_E|X_C)$ に分解することで、非教師付き部品を支援する。
• 超パrameter $\lambda$ で制御される、教師あり対数尤度（ソースデータ）と非教師あり対数尤度（ターゲットデータ）の重み付き組み合わせを最大化することでモデルを学習する。
• 非教師付き部品を用いて、原因 $X_C$ から効果 $X_E$ への直接的マッピングを学習することで、共変量シフト下での一般化性能を向上させる。
• 分類および回帰タスクの両方への適用を実施し、それぞれに適した変更を加える。特に分散の高い状況ではモデルパラメータの制限を施す。
• 重み付きプールド対数尤度 $\ell_{WP}^\lambda$ を形成することで、本手法を重要度重み付けと統合し、さらなる性能向上を図る。

実験結果

リサーチクエスチョン

• RQ1 因果構造が既知である場合に、共変量シフト仮定のもとで半教師あり学習が有効に機能するか。
• RQ2 原因および効果特徴量の両方からの学習が、ドメイン適応設定におけるモデルの一般化性能を向上させるか。
• RQ3 効果特徴量を通じた未ラベルターゲットデータの取り込みが、重要度重み付けや完全に教師あり学習と比べてどのように異なるか。
• RQ4 特に $Y$ の潜在空間におけるモデルの柔軟性が、本手法の成功に果たす役割は何か。
• RQ5 どのような状況下で、本手法は特徴量変換に基づくドメイン適応手法を上回るか。

主な発見

• 合成分類データでは、本手法は純粋に教師ありおよび重要度重み付けベースラインよりも、特にクラス重複度が高い状況で、より低い負の対数尤度と誤差率を達成する。
• トイ・LUCASデータセットでは、256個の未ラベルターゲットサンプルと16個のソースサンプルを用いて、テスト誤差を 0.188 まで低下させ、ベースラインを上回る。
• ${\cal D}_1$ 回帰データセットの単純な設定では、ラベル付きソースサンプルが4つしかない状況でも、本手法が最小のRMSEを達成し、強力な少サンプル性能を示す。
• ${\cal D}_2$ のより挑戦的なデータセットでは、制限付きバージョンの本手法が最良のRMSEを達成し、ベースラインおよび特徴量変換手法を上回る。
• 回帰タスクでは、ハイパーパrameter $\lambda$ に感受性が高く、未ラベルデータへの過剰な重み付けが、特に $n_T$ が大きい場合に過学習を引き起こす。
• 本手法は計算的にも効率的であり、TCAなどの特徴量変換手法と比較して、実行時間はおおよそ1桁速い。