[論文レビュー] Progressive Domain Expansion Network for Single Domain Generalization

Lei Li, Ke Gao+7 more|arXiv (Cornell University)|Mar 30, 2021

Domain Adaptation and Few-Shot Learning参考文献 46被引用数 13

ひとこと要約

本稿では、単一ドメイン一般化のための新規フレームワークであるプログレッシブドメイン拡張ネットワーク（PDEN）を提案する。PDENは、タスクモデルとドメイン生成器を同時に学習させ、段階的に安全で多様な未観測ドメインを合成する。拡張ドメイン上でコントラスト学習を活用することで、ドメイン不変表現学習を向上させ、分類およびセグメンテーションベンチマークにおいて、最先端手法よりも最大15.28%の精度向上を達成した。

ABSTRACT

Single domain generalization is a challenging case of model generalization, where the models are trained on a single domain and tested on other unseen domains. A promising solution is to learn cross-domain invariant representations by expanding the coverage of the training domain. These methods have limited generalization performance gains in practical applications due to the lack of appropriate safety and effectiveness constraints. In this paper, we propose a novel learning framework called progressive domain expansion network (PDEN) for single domain generalization. The domain expansion subnetwork and representation learning subnetwork in PDEN mutually benefit from each other by joint learning. For the domain expansion subnetwork, multiple domains are progressively generated in order to simulate various photometric and geometric transforms in unseen domains. A series of strategies are introduced to guarantee the safety and effectiveness of the expanded domains. For the domain invariant representation learning subnetwork, contrastive learning is introduced to learn the domain invariant representation in which each class is well clustered so that a better decision boundary can be learned to improve it's generalization. Extensive experiments on classification and segmentation have shown that PDEN can achieve up to 15.28% improvement compared with the state-of-the-art single-domain generalization methods.

研究の動機と目的

• 1つのドメインで学習したモデルが未観測ドメインで失敗する分布シフトの問題に対処すること。
• 合成ドメイン生成において安全性と有効性の制約を欠いた既存のデータ拡張ベース手法の限界を克服すること。
• ドメイン拡張と表現学習がお互いに向上するよう、共同学習フレームワークを構築すること。
• 未観測の分布シフトを模倣するように、段階的に多様で光度的および幾何的変換を加えたドメインを生成することで、モデルの耐性を向上させること。
• ターゲットドメインデータが入手不可な現実世界の展開に適した、ターゲットドメインデータを必要としない効果的な一般化を可能にすること。

提案手法

• 2ストリームフレームワークを提案：タスクモデルの分類困難サンプルに応じてドメイン拡張サブネットワークとドメイン不変表現学習サブネットワークを共同最適化で学習する。
• タスクモデルの分類困難度に従って、生成ネットワークを用いて段階的に複数の合成ドメインを生成する。
• ドメイン生成中に安全性と有効性の制約を導入し、合成ドメインが意味的コンテンツを保持し、分布崩壊を回避することを保証する。
• ソースドメインと拡張ドメイン間の特徴を整列させるためにコントラスト学習を適用し、クラスごとのクラスタリングを促進し、より良い決定境界を形成する。
• 段階的な訓練戦略を採用：更新されたソースドメイン上でタスクモデルを微調整し、その後生成器を再訓練してより困難で多様なドメインを生成する。
• さまざまなドメインシフトタイプ（例：天候、照明、スタイル変更）に対応できるよう、生成器ネットワークの柔軟な交換を可能にする。

実験結果

リサーチクエスチョン

• RQ1 ターゲットドメインデータが入手不可な状況下でも、プログレッシブドメイン拡張は単一ドメイン一般化におけるモデル一般化を向上させ得るか？
• RQ2 分布シフト劣化を避けるために、合成ドメインを安全かつ効果的に生成する方法は何か？
• RQ3 拡張ドメイン上で実施するコントラスト学習は、ドメイン不変表現学習をどの程度向上させるか？
• RQ4 ドメイン拡張と表現学習の共同学習は、多様なドメインシフトに対してどのように耐性を向上させるか？
• RQ5 提案手法は、最小限のターゲットデータでの少サンプルドメイン適応設定にも一般化可能か？

主な発見

• PDENは、ベンチマークデータセットにおいて、最先端の単一ドメイン一般化手法よりも最大15.28%の分類精度向上を達成した。
• Digitsデータセットでは、MADAを上回り、拡張ドメイン数（K）が増えるにつれて精度が着実に上昇しており、より安全で効果的なドメイン生成が実現されていることが示された。
• アブレーションスタディの結果、敵対的損失（w_adv）とサイクル整合性損失（w_cyc）を増加させることで性能が向上し、特にSVHN や MNIST-M などの困難なドメインで顕著であった。
• 特徴空間の可視化結果から、PDENは明確に分離され、クラスごとにクラスタリングされた特徴を学習している一方、ベースラインモデルは特徴空間で深刻なクラス混合を示していることがわかった。
• 少サンプルドメイン適応設定では、わずか数個のターゲットサンプルでのPDENモデルの微調整により顕著な性能向上が得られ、同条件でMADAを上回った。
• 本手法は多様なドメインシフトに強く一般化可能であり、特にソースドメインがHighway-DawnまたはHighway-Fogの場合に最も顕著な改善が観察された。これは、複雑な環境変化に対しても強い耐性を示していることを示している。