[論文レビュー] Variational Disentanglement for Domain Generalization

Yufei Wang, Haoliang Li+4 more|arXiv (Cornell University)|Sep 13, 2021

Domain Adaptation and Few-Shot Learning参考文献 51被引用数 12

ひとこと要約

本稿では、ドメイン一般化のための変分分離ネットワーク（VDN）を提案する。VDNは、不変の真の特徴分布からの発散を最小化するための変分推論フレームワークを用いて、カテゴリ固有の特徴とドメイン固有の特徴を分離する。新たな証拠上界を最適化し、多様でドメインに依存しないサンプルを生成することで、VDNは未観測ドメインにおける一般化性能を向上させ、PACS、Office-Home、Digits-DGベンチマークで既存手法を上回る性能を達成する。

ABSTRACT

Domain generalization aims to learn an invariant model that can generalize well to the unseen target domain. In this paper, we propose to tackle the problem of domain generalization by delivering an effective framework named Variational Disentanglement Network (VDN), which is capable of disentangling the domain-specific features and task-specific features, where the task-specific features are expected to be better generalized to unseen but related test data. We further show the rationale of our proposed method by proving that our proposed framework is equivalent to minimize the evidence upper bound of the divergence between the distribution of task-specific features and its invariant ground truth derived from variational inference. We conduct extensive experiments to verify our method on three benchmarks, and both quantitative and qualitative results illustrate the effectiveness of our method.

研究の動機と目的

• 未観測ドメインにまたがる不変の特徴表現を学習することでドメイン一般化を解決すること。
• 既存のドメイン不変特徴学習における過学習リスクを、明示的な分離表現のモデル化によって克服すること。
• モデルが生成する現実的で多様なサンプルを用いたデータ拡張により、一般化性能を向上させること。
• 一貫した変分推論フレームワークの下で特徴の分離とドメイン一般化を統合すること。

提案手法

• タスク固有の特徴分布とその不変の真の分布との間の発散を測るための、変分推論に基づく証拠上界を提案する。
• カテゴリ固有の（zc）およびドメイン固有の（zd）特徴を同時に最適化する変分分離ネットワーク（VDN）を導入し、冗長性を低減し、事後尤度を最大化する。
• zcが意味的コンテンツを捉え、zdがドメイン固有のスタイルを捉える分離された潜在空間を採用し、スタイル変換とデータ生成を可能にする。
• 生成ネットワークを用いて、ドメイン間でzdを交換することで、新しい画像を合成し、多様な訓練サンプルを生成する。
• 訓練の安定化とサンプル品質の向上のため、敵対的訓練と再構成損失を組み込む。
• 生成されたサンプルを拡張データとして活用し、モデルの一般化性能をさらに向上させる。既存の拡張戦略と互換性がある。

実験結果

リサーチクエスチョン

• RQ1 変分分離によって、ドメイン間で不変の特徴を学習することで、ドメイン一般化を効果的に向上させられるか？
• RQ2 特徴分布発散のための変分上界をどのように導出し、最適化できるか？その結果、モデルのロバスト性が向上するか？
• RQ3 分離された表現は、ドメイン一般化におけるソースドメインへの過学習をどの程度軽減できるか？
• RQ4 分離された潜在空間から生成されたサンプルは、未観測ドメインにおけるモデル一般化をどの程度向上させられるか？
• RQ5 最先端のドメイン一般化手法と比較して、本手法は正確性とロバスト性の面でどのように優れているか？

主な発見

• VDNはPACSベンチマークで最先端の性能を達成し、平均精度およびドメイン一般化能力の両面で、以前の手法を上回る。
• アブレーションスタディにより、生成されたサンプルが一般化性能を顕著に向上させることを確認し、拡張訓練データとして使用した際の精度上昇が顕著であった。
• 特にフォトからスケッチへのドメインシフトのような困難な状況において、優れたゼロショット一般化性能を示した。
• 可視化結果から、モデルがコンテンツとスタイルを効果的に分離しており、ドメイン間で意味のある画像変換が可能であることが示された。
• PACS、Office-Home、Digits-DGを含む多様なベンチマークにおいて、本手法は強力なベースラインを一貫して上回り、良好な一般化性能を示した。