[論文レビュー] Domain Generalization without Excess Empirical Risk

Ozan Şener, Vladlen Koltun|arXiv (Cornell University)|Aug 30, 2023

Domain Adaptation and Few-Shot LearningComputer Science被引用数 3

ひとこと要約

本稿では、分布外一般化性能を向上させるために、経験的リスクが最適のまま保たれる制約のもとでのみ代替ペナルティを最小化する、新しいドメイン一般化手法を提案する。レート歪み理論とBlahut-Arimoto風のアルゴリズムを活用することで、訓練性能の劣化を防ぎつつ、複数のベンチマークおよびモデルで分布外一般化性能を向上させる。

ABSTRACT

Given data from diverse sets of distinct distributions, domain generalization aims to learn models that generalize to unseen distributions. A common approach is designing a data-driven surrogate penalty to capture generalization and minimize the empirical risk jointly with the penalty. We argue that a significant failure mode of this recipe is an excess risk due to an erroneous penalty or hardness in joint optimization. We present an approach that eliminates this problem. Instead of jointly minimizing empirical risk with the penalty, we minimize the penalty under the constraint of optimality of the empirical risk. This change guarantees that the domain generalization penalty cannot impair optimization of the empirical risk, i.e., in-distribution performance. To solve the proposed optimization problem, we demonstrate an exciting connection to rate-distortion theory and utilize its tools to design an efficient method. Our approach can be applied to any penalty-based domain generalization method, and we demonstrate its effectiveness by applying it to three examplar methods from the literature, showing significant improvements.

研究の動機と目的

• 従来のペナルティベースのドメイン一般化手法の失敗モードに対処する。すなわち、同時最適化により経験的リスクが増加し、分布内性能が損なわれる現象を回避する。
• 経験的リスクとペナルティの同時最小化が、ペナルティの不整合性や最適化の困難さにより、過剰なリスクを引き起こす可能性があることを特定する。
• 経験的リスクの最適性が損なわれない限り、ペナルティの最小化に制限を設ける制約付き最適化フレームワークを提案する。
• 経験的リスクの定常点に収束させつつ、ドメイン一般化ペナルティを最小化することを保証する。
• アーキテクチャの変更を要せず、任意のペナルティベースのドメイン一般化手法に適用可能な汎用最適化器を開発する。

提案手法

• ドメイン一般化問題を、経験的リスクの定常点にとどまる制約のもとで代替ペナルティを最小化する問題として定式化する。
• 有界かつ減少するバイアスをもつ勾配降下法を用い、経験的リスクの定常点への収束を保証する。
• ペナルティが歪み、経験的リスクがレートとして機能するレート歪み理論への明確な接続を確立する。
• 制約付き最適化問題を効率的に解くために、Blahut-Arimoto風の反復的アルゴリズムを適用する。
• 経験的勾配方向からの偏差が有界に保たれるように、更新則を設計する。
• 従来のモデル（例：CORAL, FISH, VRex）に最小限の変更を加えて統合し、元の訓練ダイナミクスを維持する。

実験結果

リサーチクエスチョン

• RQ1 分布外一般化性能を損なわず、過剰な経験的リスクを排除することは可能か？
• RQ2 経験的リスクの最適化とペナルティ最小化を分離することで、訓練分布における性能劣化を防げるか？
• RQ3 レート歪み理論が、制約付きドメイン一般化の原理的枠組みを提供できるか？
• RQ4 ペナルティ最小化中に経験的リスクの定常性を強制することで、多様なベンチマークで一貫した性能向上が得られるか？
• RQ5 複数の既存のドメイン一般化モデルに適用した場合、提案手法の有効性はどの程度か？

主な発見

• 提案手法は、画像、自然言語、形式言語、グラフモダリティを含むWILDSベンチマークにおいて、分布外性能を顕著に向上させる。
• WILDSベンチマークにおいて、E同期法や従来のドメイン一般化手法（CORAL, FISH, VRex）を上回る性能を示す。E同期法は実際の応用ではしばしば優れた性能を示すが、本手法はそれを凌駕する。
• CORAL, FISH, VRexという3つの異なるドメイン一般化モデルに適用した結果、一貫した性能向上が得られ、広範な適用可能性を示した。
• 実験結果から、本手法が一般化ギャップを縮小するとともに、分布内精度を維持または向上させることを確認した。これは、過剰な経験的リスクが性能に悪影響を及えるという仮説の妥当性を裏付けた。
• Blahut-Arimotoに基づく最適化は信頼性高く収束し、経験的リスク最適化の劣化を伴わずに効果的なペナルティ最小化を可能にした。
• ドメインごとの勾配計算による追加計算コストが生じるが、大規模な設定ではその性能向上の恩恵がコストを上回ることを確認した。