[論文レビュー] Domain Generalization via Multidomain Discriminant Analysis

Shoubo Hu, Kun Zhang+2 more|arXiv (Cornell University)|Jul 25, 2019

Domain Adaptation and Few-Shot Learning参考文献 35被引用数 11

ひとこと要約

本稿では、分類タスクにおけるドメイン一般化を目的として、クラス固有のドメイン差違を最小化し、クラス間分離性を最大化することでドメイン不変特徴変換を学習する、カーネルベースの手法であるマルチドメイン判別分析（MDA）を提案する。MDAは、Office+Caltech や VLCS といった合成的および現実世界のベンチマークで、クラス事前確率の変動に対しても優れた性能を示し、ドメイン間でマージナル分布や条件付き分布が安定しているという制限付き仮定を必要としない。

ABSTRACT

Domain generalization (DG) aims to incorporate knowledge from multiple source domains into a single model that could generalize well on unseen target domains. This problem is ubiquitous in practice since the distributions of the target data may rarely be identical to those of the source data. In this paper, we propose Multidomain Discriminant Analysis (MDA) to address DG of classification tasks in general situations. MDA learns a domain-invariant feature transformation that aims to achieve appealing properties, including a minimal divergence among domains within each class, a maximal separability among classes, and overall maximal compactness of all classes. Furthermore, we provide the bounds on excess risk and generalization error by learning theory analysis. Comprehensive experiments on synthetic and real benchmark datasets demonstrate the effectiveness of MDA.

研究の動機と目的

• ドメイン間でクラス事前確率とクラス条​​件分布が共に変化する分類タスクにおけるドメイン一般化を解決すること。
• マージナル分布や条件付き分布が安定しているという制限付き仮定に依存しない手法の開発。
• クラス間分離性を最大化し、クラス内ドメイン分散を最小化する特徴変換を学習することで、未観測のターゲットドメインにおけるモデル一般化性能の向上。
• カーネルベースのドメイン一般化手法の一般化誤差に関する理論的境界の分析。
• MDAのロバストネスと優位性を、多様なドメインシフトシナリオにおいて実験的に検証すること。

提案手法

• ソースドメインの判別力と特徴学習をガイドするため、平均クラス差違という新たな指標を提案。
• 平均クラス差違に加え、平均ドメイン差違、クラス間分離性、全体的コンパクトネスという3つの指標を統合し、特徴変換のための統一的目的関数を構築。
• カーネルフィッシャー判別分析を用いて、クラス内でのドメイン間差違を最小化し、クラス間分離性を最大化するドメイン不変特徴空間を学習。
• 非線形適応を可能とするために、入力空間から再生核ヒルバート空間への特徴変換に依存。
• 目的関数内の4つの指標のトレードオフをバランスさせるために、正則化された最適化フレームワークを採用。
• 学習理論を用いて、過剰リスクと一般化誤差に関する理論的境界を導出し、本手法の一般化能力を裏付ける。

実験結果

リサーチクエスチョン

• RQ1 クラス事前確率とクラス条​​件分布が共にドメイン間で変化する状況下でも有効なドメイン一般化手法を開発可能か？
• RQ2 クラス間分離性を最大化し、クラス内ドメイン分散を最小化するように特徴変換を最適化する方法は何か？
• RQ3 クラス事前確率の変動が、既存のドメイン一般化手法の性能に与える影響は何か？ そして、ロバストネスをどのように向上できるか？
• RQ4 一般ドメインシフト仮定下で、カーネルベースのドメイン一般化手法に対して一般化誤差の理論的境界を導出可能か？
• RQ5 提案された平均クラス差違指標は、既存の指標と比較して、ドメイン間での判別的特徴をどれほど効果的に捉えられるか？

主な発見

• Office+Caltech データセットでは、すべてのターゲットドメイン設定でMDAが最高精度を達成し、他のすべてのカーネルベース手法および1NNベースラインを上回った。
• VLCS データセットでは、10件中8件のケースでMDAが1位を記録し、複雑なドメインシフト下でも強力な一般化性能を示した。
• 合成実験により、MDAはDICAや他の手法と比較して、クラス事前確率（P(Y)）の変動に対して著しくロバストであることが示された。
• Office+Caltech の (A, C) ケースでは、MDAが唯一、1NNベースラインを上回るカーネルベース手法であった。これは、極めて困難なドメインシフト下でも有効であることを示している。
• 理論的分析により、MDAが過剰リスクと一般化誤差の境界を提供することが確認され、一般化能力の裏付けが得られた。
• SVMベースラインはVLCSの10件中6件で、すべてのDG手法を上回った。これは、SVM分類器を搭載したカーネルベース手法が、今後の研究において有望な方向性である可能性を示唆している。