[論文レビュー] Class-conditioned Domain Generalization via Wasserstein Distributional Robust Optimization

Jingge Wang, Yang Li+2 more|arXiv (Cornell University)|Sep 8, 2021

Domain Adaptation and Few-Shot Learning参考文献 10被引用数 4

ひとこと要約

本稿では、クラス条件付きドメインシフト下でのモデルの頑健性を向上させるために、Wasserstein分布的ロバスト最適化を用いたクラス条件付きドメイン一般化手法を提案する。不確実性集合をWasserstein重心を用いてモデル化し、反復的に最適な半径を学習することで、従来のドメイン一般化手法やベースラインと比較して、特にクラス間での条件付き分布の変動が大きい状況下でも優れた一般化性能を達成する。

ABSTRACT

Given multiple source domains, domain generalization aims at learning a universal model that performs well on any unseen but related target domain. In this work, we focus on the domain generalization scenario where domain shifts occur among class-conditional distributions of different domains. Existing approaches are not sufficiently robust when the variation of conditional distributions given the same class is large. In this work, we extend the concept of distributional robust optimization to solve the class-conditional domain generalization problem. Our approach optimizes the worst-case performance of a classifier over class-conditional distributions within a Wasserstein ball centered around the barycenter of the source conditional distributions. We also propose an iterative algorithm for learning the optimal radius of the Wasserstein balls automatically. Experiments show that the proposed framework has better performance on unseen target domain than approaches without domain generalization.

研究の動機と目的

• 同じクラスのドメインシフトが顕著に異なるターゲットとソースの分布の間で生じるドメインシフトの課題に対処すること。
• 同じクラスのターゲットの条件付き分布がソースの分布に近いと仮定する従来のドメイン一般化手法の限界を克服すること。
• クラス固有の重心回りのWassersteinボールで定義された不確実性集合における最悪ケース性能を保証するロバスト最適化フレームワークを構築すること。
• 手動でのハイパーパrameterチューニングを必要とせずに、一般化性能を向上させるために不確実性集合の最適な半径を自動で学習すること。
• 特にリソースが限られた、教師なしドメイン一般化設定において、合成データおよび実世界のデータの両方で優れた性能を示すこと。

提案手法

• ソースのクラス条件付き分布のWasserstein重心を中心にしたWassersteinボールを用いて、クラス固有の不確実性集合を定義する。
• 各クラスの不確実性集合内におけるすべての分布の最悪ケースリスクを最小化する形で、ロバスト最適化問題を定式化する。
• 分類器とWassersteinボールの半径を同時に最適化する反復的アルゴリズムを用い、不確実性集合の最適なサイズを適応的に学習する。
• Wasserstein距離から導かれる線形制約を用いて、分布的ロバスト最適化問題を凸最適化問題に変換する。
• 複数のソースドメインが存在する状況でも、重心を基準分布として用いることで不確実性集合の構築を安定化する。
• 合成ガウス分布データおよび限られたラベル付きデータを有する実世界のバッテリー容量分類タスクの両方へフレームワークを適用する。

実験結果

リサーチクエスチョン

• RQ1 Wasserstein不確実性集合を用いた分布的ロバスト最適化は、クラス条件付きドメインシフト下での一般化性能を向上させることができるか？
• RQ2 不確実性集合の構築において、個々のソース分布を基準に使うのと比較して、Wasserstein重心を基準分布に用いることでどのような差が生じるか？
• RQ3 手動でチューニングされた固定半径と比較して、不確実性集合の半径を自動で学習することで性能が向上するか？
• RQ4 トレーニング時にターゲットデータが利用できない状況下で、教師なしドメイン一般化において本手法はどのように性能を発揮するか？
• RQ5 ドメイン間でクラス条件付き分布の変動が著しい状況下では、標準的なドメイン一般化手法やベースラインと比較して、本手法が優れた性能を示すか？

主な発見

• 最も困難なバッテリーデータセット設定（難易度レベル6）において、本手法は平均テスト精度0.806を達成し、次に優れた教師なし手法（0.530）を著しく上回った。
• 最も簡単な設定（難易度レベル1）では、本手法は0.806の精度を達成し、ソースデータのみを用いた半教師ありベースライン（0.680）を上回った。
• 半径学習を含まないバージョン（初期固定半径）では、最も簡単な設定で0.740の精度にとどまり、適応的半径学習の必要性を示した。
• 合成ガウス分布データにおいて、本手法は難易度レベルが上昇しても一貫した性能を維持し、精度はレベル1の0.806からレベル6の0.530に低下したが、ドメインシフトの増加に対しても頑健であることを示した。
• すべての教師なしベースライン（ソースデータをすべて混合する手法を含む）を上回り、特に難易度が高い設定では一部の半教師あり手法をも上回った。
• 反復的半径学習アルゴリズムはデータの複雑さに適応し、難易度が上昇するに従い、クラス1では約3.44から2.65へ、クラス2では約4.02から2.37へと半径が減少した。