[論文レビュー] Learning to Diversify for Single Domain Generalization

Zijian Wang, Yadan Luo+3 more|arXiv (Cornell University)|Aug 26, 2021

Domain Adaptation and Few-Shot Learning参考文献 51被引用数 4

ひとこと要約

本論文は、単一のソースドメインから分布外の画像を生成するスタイル補完モジュールを用いた、単一ドメイン一般化（Single-DG）のための新規手法Learning-to-Diversify（L2D）を提案する。生成されたサンプルとソースサンプル間の相互情報量を反復的に最小化することで多様性を確保し、同じクラスに属するサンプル間で相互情報量を最大化することで不変性を確保することで、最先端の性能を達成し、ベンチマークデータセット上で先行手法を最大25.14%上回った。

ABSTRACT

Domain generalization (DG) aims to generalize a model trained on multiple source (i.e., training) domains to a distributionally different target (i.e., test) domain. In contrast to the conventional DG that strictly requires the availability of multiple source domains, this paper considers a more realistic yet challenging scenario, namely Single Domain Generalization (Single-DG), where only one source domain is available for training. In this scenario, the limited diversity may jeopardize the model generalization on unseen target domains. To tackle this problem, we propose a style-complement module to enhance the generalization power of the model by synthesizing images from diverse distributions that are complementary to the source ones. More specifically, we adopt a tractable upper bound of mutual information (MI) between the generated and source samples and perform a two-step optimization iteratively: (1) by minimizing the MI upper bound approximation for each sample pair, the generated images are forced to be diversified from the source samples; (2) subsequently, we maximize the MI between the samples from the same semantic category, which assists the network to learn discriminative features from diverse-styled images. Extensive experiments on three benchmark datasets demonstrate the superiority of our approach, which surpasses the state-of-the-art single-DG methods by up to 25.14%.

研究の動機と目的

• 訓練時に1つのソースドメインしか利用できない状況、すなわち単一ドメイン一般化（Single-DG）において、ドメイン一般化の課題に対処すること。
• Single-DGにおけるデータ多様性の制限が、未観測のターゲットドメインへのモデル一般化を妨える問題を克服すること。
• 分類器が訓練中に挑戦を受けるように、多様で分布外の画像を生成することで、モデルのロバスト性を向上させること。
• 同じクラスのサンプル間における相互情報量の最大化を通じて、スタイル不変の表現を学習すること。
• 生成サンプルの多様性と特徴の識別可能性を交互に向上させるミニマックス最適化フレームワークを構築すること。

提案手法

• オリジナルのソースドメインに存在しない新しい多様なスタイルを持つ画像を合成するためのスタイル補完モジュールを導入する。
• 潜在空間において、生成されたサンプルとソースサンプルの間の多様性を強制するために、相互情報量（MI）の実用的上界を用いる。
• 2段階の反復的最適化において、まず生成サンプルとソースサンプルペア間のMIを最小化することで、分布の乖離を最大化する。
• その後、同じ意味的カテゴリに属するサンプル間のMIを最大化することで、識別的でスタイル不変の特徴を学習する。
• スタイル補完モジュールとメインタスクモデルがミニマックスゲームを展開し、生成画像が敵対的チャレンジとして機能することで一般化性能が向上する。
• 多様性（MI最小化による）と不変性（MI最大化による）の目的関数を組み合わせた損失関数を用いて、エンドツーエンドでフレームワークを訓練する。

実験結果

リサーチクエスチョン

• RQ1 訓練時に1つのソースドメインしか利用できない状況において、単一ドメイン一般化モデルが強力な一般化性能を達成できるか？
• RQ2 複数のソースドメインが存在しない状況で、ドメインシフトを模倣する有効なデータ拡張をどのように達成できるか？
• RQ3 相互情報量最適化がSingle-DGにおける特徴のロバスト性とモデル一般化をどの程度向上できるか？
• RQ4 多様で分布外の画像を生成することで、未観測のターゲットドメインへの一般化能力が向上するか？
• RQ5 ドメイン識別子が存在しない状況において、多様性と不変性の学習の相互作用が性能に与える影響はいかほどか？

主な発見

• 提案されたL2D手法は、3つのベンチマークデータセット（数字認識、損傷付きCIFAR-10、PACS）で最先端の性能を達成し、既存のSingle-DG手法を最大25.14%の精度上回った。
• アブレーションスタディの結果、スタイル補完モジュールを削除すると顕著な性能低下が生じ、一般化の向上においてそのモジュールが極めて重要な役割を果たしていることが確認された。
• スタイル変更または相互情報量最適化のコンponentsを削除すると、それぞれ1.35%および3.76%の性能低下が生じ、両コンponentsの重要性が示された。
• 感度分析の結果、k=6の変換を用いることで最適な多様性が達成され、k>5以降は性能が安定化し、α₁=α₂=1でピークに達した。
• t-SNE可視化の結果、L2Dはベースラインと比較して、より固く、より明確に分離されたクラスクラスタを生成しており、特徴の識別性とドメイン不変性の向上が裏付けられた。
• 本手法は、1ドメインを除いて学習するという一般的なドメイン一般化プロトコルに対しても良好に一般化でき、Single-DGを超えた広範な適用可能性が検証された。