[論文レビュー] A Survey on Evaluation of Out-of-Distribution Generalization

Yu Han, Jiashuo Liu+3 more|arXiv (Cornell University)|Mar 4, 2024

Image and Signal Denoising Methods被引用数 6

ひとこと要約

本論文は Out-of-Distribution (OOD) 一般化の評価手法を調査し、データ入手可能性に基づいて OOD パフォーマンスのテスト、予測、固有特性の特徴づけに分類し、ベンチマーク、データセット、事前学習モデルの文脈を議論する。

ABSTRACT

Machine learning models, while progressively advanced, rely heavily on the IID assumption, which is often unfulfilled in practice due to inevitable distribution shifts. This renders them susceptible and untrustworthy for deployment in risk-sensitive applications. Such a significant problem has consequently spawned various branches of works dedicated to developing algorithms capable of Out-of-Distribution (OOD) generalization. Despite these efforts, much less attention has been paid to the evaluation of OOD generalization, which is also a complex and fundamental problem. Its goal is not only to assess whether a model's OOD generalization capability is strong or not, but also to evaluate where a model generalizes well or poorly. This entails characterizing the types of distribution shifts that a model can effectively address, and identifying the safe and risky input regions given a model. This paper serves as the first effort to conduct a comprehensive review of OOD evaluation. We categorize existing research into three paradigms: OOD performance testing, OOD performance prediction, and OOD intrinsic property characterization, according to the availability of test data. Additionally, we briefly discuss OOD evaluation in the context of pretrained models. In closing, we propose several promising directions for future research in OOD evaluation.

研究の動機と目的

• Test data availability に基づいて、OOD一般化を評価する主なパラダイムを特定・分類する。
• 現在のデータセット、ベンチマーク、および評価プロトコルが、視覚、テキスト、および表形式ドメインにわたり OOD 評価をどのように支援するかを要約する。
• モデル選択、データリーク、シフト分析の課題を議論し、将来の OOD 評価研究を導く。
• 事前学習モデルおよび大規模言語モデルの文脈における OOD 評価の役割を強調する。

提案手法

• OOD 評価をパフォーマンステスト、パフォーマンス予測、固有特性の特徴づけという三つのパラダイムに分類する。
• 分布シフトを生成・研究するために用いられる Synthetic、Visual、Text、Tabular データセットを説明する。
• DomainBed、SubpopBench、WILDS、WHYSHIFT などのベンチマークと、シフトとパフォーマンスを理解する分析手法をレビューする。
• 公正な OOD 評価に対する test-data leakage の影響とモデル選択の問題を議論する。
• 事前学習モデルおよび LLMs における OOD 評価の考慮事項を概説する。

実験結果

リサーチクエスチョン

• RQ1 OOD test data の入手可能性に応じて、OOD 一般化を評価する主なパラダイムは何か？
• RQ2 OOD データセット、ベンチマーク、評価プロトコルは、データモダリティを横断して分布シフトをどのようにテストするよう設計されているか？
• RQ3 OOD パフォーマンスと基礎となる分布シフトを分析・解釈する方法は何か？
• RQ4 OOD 評価は事前学習モデルおよび大規模言語モデルにどのように拡張されるか？
• RQ5 将来的には OOD 評価の信頼性と有用性を向上させる方向性は何か？

主な発見

• OOD 評価は test data availability に基づき、パフォーマンステスト、パフォーマンス予測、固有特性の特徴づけに分類される。
• 合成・視覚・テキスト・表形式の広範なデータセットとベンチマークが、多様な分布シフトと評価ニーズを支援している。
• DomainBed、SubpopBench、WILDS などのベンチマークは OOD 評価を標準化し、モデル選択とリークの問題に対処する。
• Shapley 値、輸送ベースの分解、領域ベースのリスク分析などの分析手法は、特定のシフトに対するパフォーマンス変化を帰属づけるのに役立つ。
• 事前学習モデルおよび LLMs の文脈での OOD 評価の検討が進んでおり、評価プロトコルの適用範囲が広がる方向性を示している。