[論文レビュー] Domain Invariant Representation Learning with Domain Density Transformations

Antoinette T Nguyen, Trần Khánh Toàn+2 more|arXiv (Cornell University)|Feb 9, 2021

Domain Adaptation and Few-Shot Learning被引用数 25

ひとこと要約

本論文は、 GANを用いて学習されるドメイン密度変換に対する不変性を課すことにより、ドメイン不変表現を学習し、Rotated MNIST、VLCS、PACSデータセットでのドメイン一般化を向上させることを提案する。

ABSTRACT

Domain generalization refers to the problem where we aim to train a model on data from a set of source domains so that the model can generalize to unseen target domains. Naively training a model on the aggregate set of data (pooled from all source domains) has been shown to perform suboptimally, since the information learned by that model might be domain-specific and generalize imperfectly to target domains. To tackle this problem, a predominant approach is to find and learn some domain-invariant information in order to use it for the prediction task. In this paper, we propose a theoretically grounded method to learn a domain-invariant representation by enforcing the representation network to be invariant under all transformation functions among domains. We also show how to use generative adversarial networks to learn such domain transformations to implement our method in practice. We demonstrate the effectiveness of our method on several widely used datasets for the domain generalization problem, on all of which we achieve competitive results with state-of-the-art models.

研究の動機と目的

• ドメイン一般化の問題に動機づけを与え、ドメイン間で周辺分布と条件付き分布の結合的な整合の必要性を定式化する。
• ドメイン不変表現の存在に必要十分条件を特徴づける。
• ドメイン密度変換下で表現の不変性を課す理論的根拠のある手法を提案する。
• GANベースのドメイン変換学習（DIRT-GAN）を用いた実践的実装を提供する。
• 標準的なドメイン一般化ベンチマーク（Rotated MNIST、VLCS、PACS）で実証的に検証する。

提案手法

• ドメイン間で p(z|d) および p(y|z,d) の不変性を満たすドメイン不変表現 z を定義する。
• ドメイン間の密度変換関数 f_{d,d'} を導入し、p(z|x)=p(z|f_{d,d'}(x)) がドメイン間の結合整合を意味することを証明する。
• 予測損失 l(y,g_theta(x)) とドメイン不変性項 dis(g_theta(x), g_theta(f_{d,d'}(x))) を組み合わせた損失を最適化する。
• StarGAN を用いてドメイン密度の実用的推定を可能にするため f_{d,d'} を学習する。
• 訓練時の不変性を促進するよう、StarGAN を表現ネットワーク g_theta と統合した DIRT-GAN としてアプローチを実装する。
• Rotated MNIST、VLCS、PACS で leave-one-domain-out 実験と標準バックボーン（CNN、AlexNet、ResNet18）を用いて評価する。

実験結果

リサーチクエスチョン

• RQ1 複数のソースドメインにわたってドメイン不変表現が存在する条件は何か。
• RQ2 学習されたドメイン密度変換に対して不変な表現は、ドメイン間で周辺分布と条件付き分布の結合整合を達成できるか。
• RQ3 GAN 学習によるドメイン変換を表現学習の目的関数に組み込むと、ドメイン一般化性能は向上するか。
• RQ4 標準の DG ベンチマークにおける提案手法の既存のドメイン不変ベースラインとの比較はどうか。
• RQ5 この手法は複数ドメインに対してスケーラブルで、テスト時に実用的か。

主な発見

• DIRT-GAN は Rotated MNIST でドメイン不変性ベースラインを上回り、報告された手法の中で最先端の結果を達成。
• VLCS および PACS では、同じバックボーンで CIDG、CIDDG、DGER ベースラインを大幅に上回る。
• 可視化は、学習された表現において周辺分布と条件付き分布の整合が、ナイーブなトレーニングと比べてより良いことを示す。
• StarGAN コンポーネントが訓練時のみ使用されるため、テスト時の効率にも競争力がある。
• データセットを跨いで、DIRT-GAN はドメイン間で一様なラベル分布を要求せず、堅牢なドメイン一般化を示す。