[論文レビュー] Deep causal representation learning for unsupervised domain adaptation

Raha Moraffah, Kai Shu+2 more|arXiv (Cornell University)|Oct 28, 2019

Domain Adaptation and Few-Shot Learning参考文献 30被引用数 7

ひとこと要約

本稿では、再重み付けされたソースサンプルを用いて仮想的なターゲットドメインをシミュレートすることで、ドメイン不変な因果特徴を学習する、非教師付きドメイン適応のための深層因果表現学習フレームワーク、DCDANを提案する。因果効果を推定することで誤った相関に依存するのを避けることで、特徴の転送性が向上し、ベンチマークデータセット上で最先端の性能を達成する。実験的検証により、アテンションヒートマップにおいて因果特徴の局在化が優れていることが示された。

ABSTRACT

Studies show that the representations learned by deep neural networks can be transferred to similar prediction tasks in other domains for which we do not have enough labeled data. However, as we transition to higher layers in the model, the representations become more task-specific and less generalizable. Recent research on deep domain adaptation proposed to mitigate this problem by forcing the deep model to learn more transferable feature representations across domains. This is achieved by incorporating domain adaptation methods into deep learning pipeline. The majority of existing models learn the transferable feature representations which are highly correlated with the outcome. However, correlations are not always transferable. In this paper, we propose a novel deep causal representation learning framework for unsupervised domain adaptation, in which we propose to learn domain-invariant causal representations of the input from the source domain. We simulate a virtual target domain using reweighted samples from the source domain and estimate the causal effect of features on the outcomes. The extensive comparative study demonstrates the strengths of the proposed model for unsupervised domain adaptation via causal representations.

研究の動機と目的

• 既存の非教師付きドメイン適応手法が相関に依存するという限界を解決すること。これは、ドメイン間で転送可能でない可能性がある。
• 結果を予測するのに関与する直接的な要因（因果的要因）である特徴表現を学習するフレームワークを開発すること。これは、誤った相関や文脈依存の相関を学習するのとは対照的である。
• 再重み付けされたソースサンプルを用いて仮想的ターゲットドメインをシミュレートすることで、因果効果を分離し、不変な表現学習を可能にすること。
• 深層ニューラルネットワークパイプライン内で、特徴表現とサンプル重みを同時に最適化することで、エンドツーエンドの因果表現学習を実現すること。

提案手法

• フレームワークは、共変量のバランスを取るためにソースドメインのサンプルを再重み付けすることで仮想的ターゲットドメインを構築する。
• 逆確率重み付けを用いて、シミュレートされたターゲットドメインにおける特徴の結果への因果効果を推定する。
• 交互に確率的勾配降下法を用いて、深層ニューラルネットワークのパラメータとサンプル重みを同時に最適化する。
• 因果特徴表現は、誤った相関が除去された仮想的ターゲットドメインにおいて、結果と最も強く相関する特徴として特定される。
• 因果表現学習を深層学習パイプラインに組み込み、分類損失とドメイン不変性損失を併用したエンドツーエンド学習を可能にする。
• 理論的証明により、再重み付けされた仮想ドメインでは、因果的特徴のみが結果と相関し、誤った相関は消失することが示された。

実験結果

リサーチクエスチョン

• RQ1 ラベルなしターゲットデータが与えられない非教師付きドメイン適応において、因果的特徴表現を学習できるか？
• RQ2 因果効果に基づいて特徴を学習することで、相関に基づいて学習するのと比較して、より良い一般化性能が得られるか？
• RQ3 サンプルの再重み付けによる仮想ドメイン適応は、因果特徴を分離するために効果的にターゲットドメインをシミュレートできるか？
• RQ4 標準的な深層ネットワークが学習する特徴と比較して、学習された因果的特徴は局在化と解釈可能性において優れているか？
• RQ5 提案手法は、ドメインシフトに伴う分類精度と特徴不変性をどの程度向上させるか？

主な発見

• DCDANは、誤った相関に依存するのではなく因果的特徴を学習することで、複数の非教師付きドメイン適応ベンチマークで最先端の性能を達成した。
• モデルは、ターゲットドメイン分類タスクにおける高い精度から、特徴の転送性が著しく向上していることが裏付けられた。
• ヒートマップの可視化により、DCDANは猫の目や耳といった構造的特徴（結果に因果的に関与するもの）に注目しているのに対し、ResNet-50はコンテンツと文脈の両方に注目していることが明らかになった。
• アブレーションスタディにより、サンプル分散と重み正則化のハイパーパrameterがモデル性能に顕著な影響を持つことが確認された。
• 理論的証明により、シミュレートされた仮想ターゲットドメインでは、因果的特徴のみが結果と相関しており、誤った相関は消失することが示された。これは、本手法の核心的仮定が妥当であることを裏付けた。
• ネットワーク重みとサンプル重みの共同最適化により、予測タスクにおける因果的寄与度が最大となる表現をモデルが学習できた。