[論文レビュー] In Search of Lost Domain Generalization

Ishaan Gulrajani, David López-Paz|arXiv (Cornell University)|Jul 2, 2020

Domain Adaptation and Few-Shot Learning参考文献 84被引用数 85

ひとこと要約

本論文は、ドメイン一般化手法にはモデル選択戦略を含める必要があると主張し、慎重な実装と強力なベースラインがあれば、経験的リスク最小化（ERM）が複数のデータセットで最先端と同等かそれを上回ることを示す。さらに、DG手法の公正で再現可能な評価のための PyTorch テストベッド DomainBed を導入している。

ABSTRACT

The goal of domain generalization algorithms is to predict well on distributions different from those seen during training. While a myriad of domain generalization algorithms exist, inconsistencies in experimental conditions -- datasets, architectures, and model selection criteria -- render fair and realistic comparisons difficult. In this paper, we are interested in understanding how useful domain generalization algorithms are in realistic settings. As a first step, we realize that model selection is non-trivial for domain generalization tasks. Contrary to prior work, we argue that domain generalization algorithms without a model selection strategy should be regarded as incomplete. Next, we implement DomainBed, a testbed for domain generalization including seven multi-domain datasets, nine baseline algorithms, and three model selection criteria. We conduct extensive experiments using DomainBed and find that, when carefully implemented, empirical risk minimization shows state-of-the-art performance across all datasets. Looking forward, we hope that the release of DomainBed, along with contributions from fellow researchers, will streamline reproducible and rigorous research in domain generalization.

研究の動機と目的

• さまざまなデータセット、モデル、選択基準の下でのドメイン一般化評価の現実性を評価する。
• モデル選択戦略が DG 手法の性能にどのように影響しますかを調査する。
• 再現性を高めるために、DG 実験の標準化された再利用可能なテストベッドを提供する。
• ドメイン一般化研究におけるより強力なベースラインと公正な比較を促進する。

提案手法

• ドメイン一般化におけるモデル選択の課題を概説・明確化する。
• DomainBed を用いて、7つのマルチドメインデータセットで9つの DG アルゴリズムを実装・比較する。
• 3つのモデル選択基準を評価する（訓練ドメイン検証、ドメインを1つずつ残して検証、テストドメインオラクル）。
• アルゴリズム/データセット構成ごとに20回のランダムハイパーパラメータ探索を実施し、3回の独立した実行を行う。
• 実行間で厳密に平均を取り、標準誤差を提供して結果を報告する。
• DomainBed を公開して新しいアルゴリズムやデータセットの追加を合理化し、エンドツーエンドの実験を可能にする。

実験結果

リサーチクエスチョン

• RQ1 異なるモデル選択戦略はドメイン一般化の性能にどのように影響しますか？
• RQ2 現実的で標準化された評価条件下で、DGアルゴリズムは一貫して強力なERMベースラインを上回りますか？
• RQ3 標準化されたテストベッド（DomainBed）は、より公正で再現性の高いドメイン一般化研究を可能にしますか？

主な発見

• 現代的なアーキテクチャ、データ拡張、および慎重なハイパーパラメータ調整を用いて実装した場合、ERM は評価対象データセット全体で最先端の性能を達成する。
• データセットと設定が等しい場合、DG アルゴリズムが ERM を一貫して小さな差以上で上回ることはない。
• モデル選択戦略は DG の結果に大きく影響する。訓練ドメイン検証はしばしば Leave-One-Domain-Out より良い。一方、オラクル（テストドメイン）選択には改善余地がある。
• DomainBed は DG 実験を実行するためのスケーラブルで再現可能なフレームワークを提供し、新しいアルゴリズムやデータセットの追加が軽量である。
• より大きなネットワーク（ResNet-50）、積極的なデータ拡張、および徹底的なハイパーパラメータ探索の組み合わせが、ERM の高い性能を大きく説明している。