[論文レビュー] Domain Adaptation as a Problem of Inference on Graphical Models
本稿では、拡張グラフィカルモデルを用いてドメイン間の分布シフトをモデル化し、ドメイン適応をこれらのモデル上のベイズ推論として扱う、新しいドメイン適応フレームワークを提案する。結合分布の不変および変動する要素を符号化することで、一般化性能が向上するエンドツーエンドのデータ駆動型適応が可能となり、WiFiロケーションや数字画像の転送を含む合成および実世界のデータセットで検証された。
This paper is concerned with data-driven unsupervised domain adaptation, where it is unknown in advance how the joint distribution changes across domains, i.e., what factors or modules of the data distribution remain invariant or change across domains. To develop an automated way of domain adaptation with multiple source domains, we propose to use a graphical model as a compact way to encode the change property of the joint distribution, which can be learned from data, and then view domain adaptation as a problem of Bayesian inference on the graphical models. Such a graphical model distinguishes between constant and varied modules of the distribution and specifies the properties of the changes across domains, which serves as prior knowledge of the changing modules for the purpose of deriving the posterior of the target variable $Y$ in the target domain. This provides an end-to-end framework of domain adaptation, in which additional knowledge about how the joint distribution changes, if available, can be directly incorporated to improve the graphical representation. We discuss how causality-based domain adaptation can be put under this umbrella. Experimental results on both synthetic and real data demonstrate the efficacy of the proposed framework for domain adaptation. The code is available at https://github.com/mgong2/DA_Infer .
研究の動機と目的
- ドメイン間の分布シフトの性質が事前に不明な状況における教師なしドメイン適応を解決すること。
- 複数のソースドメイン間で結合分布がどのように変化するかを学習する自動的でエンドツーエンドのフレームワークを開発すること。
- どの要因が不変または変動するかといった分布的変化に関する事前知識を、構造的なグラフィカルモデル表現に組み込むこと。
- 確率的グラフィカルモデルを用いて、因果関係に基づくドメイン適応を1つの推論ベースのフレームワークに統一すること。
- 観測されたターゲットドメイン特徴量と学習済みの分布的変化モデルを活用することで、ターゲットドメインにおける予測性能を向上させること。
提案手法
- ドメイン間で一定または変化する条件付き分布を明示的に符号化できるように、拡張された有向非巡回グラフ（DAG）を用いて結合分布を因数分解する。
- ドメイン固有の分布の不確実性を捉え、分布的変化に制約をエンコードする「母分布」を確率的グラフィカルモデルとしてモデル化する。
- 近似後方分布推論を用いて、観測されたターゲットドメイン特徴量 $X^\tau$ をもとにターゲットラベル $Y$ の後方分布を計算するベイズ推論を実行する。
- 不変モジュールには共有パラメータ、変動モジュールにはドメイン固有のパラメータを用いる、潜在変数付き条件付きGAN（LV-CGAN）を各ドメインで用いて条件付き分布 $P(X|Y)$ をモデル化する。
- 変分推論を用いてモデルパラメータ $oldsymbol{\theta}$ の後方分布 $q(\boldsymbol{\theta}|\mathcal{D}^\tau)$ を近似し、スケーラブルな学習と予測を可能にする。
- 近似後方分布からのモンテカルロサンプルを用いて、モデルパラメータの不確実性と観測特徴量を組み合わせた予測分布 $P(y_k^\tau | \mathbf{x}_k^\tau)$ を推定する。
実験結果
リサーチクエスチョン
- RQ1教師なしドメイン適応設定において、複数ドメイン間の結合分布の構造的変化を、コン act かつ自動的に表現できるか？
- RQ2不変および変動する分布の要素を区別できるグラフィカルモデル上で、ドメインシフトをベイズ推論の問題としてモデル化できるか？
- RQ3結合分布のどの要因が不変または変動可能かという事前知識を、グラフィカルモデルにどのように組み込むことができるか？
- RQ4拡張グラフィカルモデルを用いて、因果関係に基づくドメイン適応の原則を1つの確率的推論フレームワークに統一できるか？
- RQ5ラベルがターゲットドメインに存在しない状況でも、提案フレームワークは条件付き分布 $P(X|Y)$ を効果的に捉え、転送できるか？
主な発見
- 提案フレームワークは、WiFiロケーションや数字画像の転送タスクを含む、合成および実世界のドメイン適応ベンチマークで最先端の性能を達成した。
- 学習された拡張DAGは、結合分布における定常モジュールと変動モジュールを正確に同定しており、異なるドメインペア（例：t1&t2、t2&t3、t1&t3）間で一貫した構造を示した（WiFiデータセットにおいて）。
- MNIST、SVHN、Street Viewの数字データセットにおいて、ソースラベル付きデータと潜在変数付きC-GANのみを用いて、高品質な画像をターゲットドメインで生成できた。
- ターゲットがラベルなしであっても、生成画像における条件付き分布の忠実な再構成が可能であり、$P(X|Y)$ の効果的な転送が実現された。
- 変分推論とモンテカルロサンプルの活用により、不確実性の適切なモデル化に起因する性能向上を実現したスケーラブルで頑健な予測が可能となった。
より良い研究を、今すぐ始めましょう
論文設計から論文執筆まで、研究時間を劇的に削減しましょう。
クレジットカード登録不要
このレビューはAIが作成し、人間の編集者が確認しました。