[論文レビュー] Optimal Representations for Covariate Shift

Yangjun Ruan, Yann Dubois+1 more|arXiv (Cornell University)|Dec 31, 2021

Domain Adaptation and Few-Shot Learning被引用数 12

ひとこと要約

本稿では、共変量シフト下でのドメイン一般化のための最適な表現を特定する変分的目的を導入し、識別力とドメイン間での周辺サポートの保持によって頑健性を確保する。自己教師あり学習を用い、ペairedでないラベルなしデータとドメインに依存しない増幅法（例：テキスト記述）を活用することで、DomainBedで最先端の性能を達成し、CLIP や先行の最先端手法を上回る。

ABSTRACT

Machine learning systems often experience a distribution shift between training and testing. In this paper, we introduce a simple variational objective whose optima are exactly the set of all representations on which risk minimizers are guaranteed to be robust to any distribution shift that preserves the Bayes predictor, e.g., covariate shifts. Our objective has two components. First, a representation must remain discriminative for the task, i.e., some predictor must be able to simultaneously minimize the source and target risk. Second, the representation's marginal support needs to be the same across source and target. We make this practical by designing self-supervised objectives that only use unlabelled data and augmentations to train robust representations. Our objectives give insights into the robustness of CLIP, and further improve CLIP's representations to achieve SOTA results on DomainBed.

研究の動機と目的

• ドメイン一般化における共変量シフトに対して頑健であることを保証する表現の最小十分条件を同定すること。
• ソース母集団リスクが利用可能である理想化されたドメイン一般化（IDG）設定を形式化し、最適な表現の理論的特徴付けを可能にすること。
• ターゲットドメインの情報が入手不可能な場合、いかなる表現学習手法も定数表現を一貫して上回ることはできないことの証明。
• 特定の増幅法（例：画像のテキスト記述）を用いて、ラベルなしデータのみから実用的な自己教師あり目的を設計し、頑健性の理論的条件を強制すること。
• 提案された目的をCLIPベースのモデルに統合し、DomainBedベンチマークで最先端の性能を達成すること。

提案手法

• 最適解が、ベイズ予測子を保持するあらゆる共変量シフトに対してソースリスク最小化器を頑健にする表現の集合であるような変分的目的を提案。
• 最適性を2つの要素で定義：(a) 表現がタスクに対して識別的でなければならない。これにより、1つの予測子がソースおよびターゲットリスクの両方を最小化可能である。(b) 表現の周辺サポートがソースおよびターゲットドメイン間で不変でなければならない。
• 識別的情報を保持するがドメイン固有の特徴を除去する増幅法（例：画像のテキスト記述）に基づく自己教師あり学習目的を導入。
• エントロピー・ボトルネックまたは類似のメカニズムを用いて周辺サポート不変性を強制し、理論的条件を満たす表現を有効に学習する。
• CLIPに、ラベルなしデータとテキストベースの増幅法のみを用いて、提案されたCAD（一貫性のある増幅分離）目的でファインチューニングを適用。
• 理論的主張の妥当性を検証するため評価時に「オラクル」モデル選択を用い、実用的限界を分析するため「ソース検証」と比較。

実験結果

リサーチクエスチョン

• RQ1 共変量シフト下で任意のターゲットドメインに一般化できるような表現の最小十分条件は何か？
• RQ2 ラベルなしデータとドメインに依存しない増幅法のみを用いて、共変量シフト下での最適な頑健性を達成する自己教師あり学習目的を設計できるか？
• RQ3 既存のドメイン一般化手法が実際には経験的リスク最小化を上回れない理由は何か？その背後にある理論的制限は何か？
• RQ4 CLIPモデルはどのようにして頑健性を達成しているのか？また、最適な表現の理論的条件を明示的に強制することで、その性能をさらに向上できるか？
• RQ5 ターゲットドメインの情報へのアクセスが、ドメイン一般化における有用な表現の学習能力に与える影響はどの程度か？

主な発見

• CLIPと組み合わせた提案されたCAD目的は、DomainBedで最先端の性能を達成。CLIP L + CADはVLCSで80.8%、PACSで93.5%、OfficeHomeで79.7%、TerraIncognitaで37.4%、DomainNetで51.7%の精度を達成。
• CLIP S + CADは、すべてのDomainBedデータセットで元のCLIP SおよびCLIP S (ゼロショット) を上回り、事前学習を超えた提案手法の有効性を示している。
• LAIONでCLIP Lをトレーニングし、エントロピー・ボトルネックを適用（サポート不変性を強制）した場合、適用しない場合に比べてDomainBedでの性能が向上。CLIPを超えた一般化の可能性を示している。
• ソース検証による選択戦略は、ソースドメインに過学習するモデルを生じさせ、ボトルネックによる性能向上を損なうが、オラクル選択は理論的保証をよりよく反映している。
• ターゲットドメイン情報が一切入手不可能な場合、いかなる表現学習手法も一貫して定数表現を上回ることはできない。これはドメイン一般化の困難さを説明する。
• 理論的分析により、サポート不変性と識別的パワーの両方が、共変量シフト下での最適なドメイン一般化に必要かつ十分であることが判明。