[論文レビュー] Causal Generative Domain Adaptation Networks

Mingming Gong, Kun Zhang+4 more|arXiv (Cornell University)|Apr 12, 2018

Domain Adaptation and Few-Shot Learning参考文献 28被引用数 21

ひとこと要約

本稿では、潜在変数を用いた生成的枠組みでドメインのズレをモデル化する非パrametric手法である因果的生成的ドメイン適応ネットワーク（CG-DAN）を提案する。これにより、ドメイン間での分布シフトのモデル化とデータ生成の両方が可能になる。高次元特徴の依存関係を因果構造を用いて分解することで、統計的・計算的効率が向上し、合成および実世界のデータセットにおいて、クロスドメイン予測およびドメイン生成の分野で最先端の性能を達成する。

ABSTRACT

An essential problem in domain adaptation is to understand and make use of distribution changes across domains. For this purpose, we first propose a flexible Generative Domain Adaptation Network (G-DAN) with specific latent variables to capture changes in the generating process of features across domains. By explicitly modeling the changes, one can even generate data in new domains using the generating process with new values for the latent variables in G-DAN. In practice, the process to generate all features together may involve high-dimensional latent variables, requiring dealing with distributions in high dimensions and making it difficult to learn domain changes from few source domains. Interestingly, by further making use of the causal representation of joint distributions, we then decompose the joint distribution into separate modules, each of which involves different low-dimensional latent variables and can be learned separately, leading to a Causal G-DAN (CG-DAN). This improves both statistical and computational efficiency of the learning procedure. Finally, by matching the feature distribution in the target domain, we can recover the target-domain joint distribution and derive the learning machine for the target domain. We demonstrate the efficacy of both G-DAN and CG-DAN in domain generation and cross-domain prediction on both synthetic and real data experiments.

研究の動機と目的

• 条件付きシフト下での教師なしドメイン適応を扱う。ここで、$P_{X|Y}$ はドメイン間で変化し、ターゲットデータにラベルが付与されていない。
• 強力なパラメトリック仮定を課さずに、$P_{X|Y}$ に対する柔軟で非パラメトリックな分布変化のモデル化を目的とする。
• 因果的モジュラー構造を用いて結合分布を分解することで、学習の効率性と解釈可能性を向上させる。
• 生成モデルの潜在変数空間での補間を用いて、新しいドメインでのデータ生成を可能にする。
• 特徴分布マッチングを用いてターゲットドメインの結合分布 $P_{XY}$ を回復させ、ターゲットドメインにおける正確な予測を可能にする。

提案手法

• ドメイン固有の潜在変数 $\bm{\theta}$ と共有ノイズ $E$ を用いて $P_{X|Y}$ をモデル化する生成的ドメイン適応ネットワーク（G-DAN）を提案。ここで $X = g(Y, E, \bm{\theta})$ と定式化される。
• ドメイン間で共通の生成器 $g$ とノイズ $E$ を使用し、$\bm{\theta}$ が特徴分布のドメイン固有の変化を捉える。
• ターゲットドメインにおける特徴分布マッチングを用いて、ターゲットドメインの $P_{XY}$ を回復させ、ターゲット固有の予測を可能にする。
• 因果グラフに従って結合分布を因数分解することで、因果的G-DAN（CG-DAN）を導入し、$\bm{\theta}$ を互いに排他的なモジュラー構成に分解する。
• 因果系のモularityを活用して、各モジュールの潜在変数を別々に推定することで次元削減を実現し、学習効率を向上させる。
• MLPを用いてCG-DANの生成器 $g$ および条件付き分布をパrameter化し、各モジュールごとに低次元の $\bm{\theta}_i$ を使用する。

実験結果

リサーチクエスチョン

• RQ1 強力なパラメトリック仮定を課さずに、$P_{X|Y}$ の任意の変化をドメイン間でモデル化できるか？
• RQ2 ラベルなしターゲットデータと特徴分布マッチングのみを用いて、ターゲットドメインの結合分布 $P_{XY}$ を回復できるか？
• RQ3 因果構造の分解が、ドメインシフト学習の統計的・計算的効率を向上させられるか？
• RQ4 生成モデルの潜在変数空間での補間を用いて、新しいドメインで現実的なデータを生成できるか？
• RQ5 因果構造を組み込むことで、クロスドメイン予測タスクにおける一般化性能が向上するか？

主な発見

• CG-DANは、G-DANおよび先行手法（KMM, TCA, SuK, DIP, CTC）を上回り、$\mathtt{t1} \rightarrow \mathtt{t2}$ のWiFiロケーションタスクで91.66%の精度を達成した。
• $\mathtt{t1} \rightarrow \mathtt{t3}$ の時間転送タスクでは、93.17%の精度を達成し、2番目に良い手法（CTC）を3ポイント以上上回った。
• デバイス転送タスクでは、$\mathtt{hallway2}$ で87.74%の精度を記録し、次に良い手法（CTC）を1.2%上回った。
• G-DANは $\bm{\theta}$ 空間での補間とノイズ $E$ からのサンプリングを用いて、新しいドメインでのデータ生成を可能にし、ドメイン転送における実用的利点を示した。
• 単一のソースドメインとラベルなしターゲットデータのみで、やや厳しい条件下でもターゲットドメインの $P_{XY}$ を回復でき、効果的な予測が可能となった。
• CG-DANは、評価されたすべてのタスクでG-DANを上回る性能を示し、モデルの複雑さを低減し推定を改善する因果構造分解の有効性を確認した。