[論文レビュー] OoD-Bench: Benchmarking and Understanding Out-of-Distribution Generalization Datasets and Algorithms

Nanyang Ye, Kaican Li+5 more|arXiv (Cornell University)|Jun 7, 2021

Domain Adaptation and Few-Shot Learning参考文献 85被引用数 22

ひとこと要約

この論文では、深層学習における分布外一般化（OoD）を評価するための統合ベンチマーク、OoD-Benchを紹介する。本研究では2つの広範な分布シフトを特定し、これらのシフトにおいて既存のOoDアルゴリズムを評価した結果、あるシフトでは優れた性能を示すアルゴリズムが、他のシフトでは劣った性能を示すことが判明し、より強固で一般化可能な手法の必要性が浮き彫りになった。

ABSTRACT

Deep learning has achieved tremendous success with independent and identically distributed (i.i.d.) data. However, the performance of neural networks often degenerates drastically when encountering out-of-distribution (OoD) data, i.e., training and test data are sampled from different distributions. While a plethora of algorithms has been proposed to deal with OoD generalization, our understanding of the data used to train and evaluate these algorithms remains stagnant. In this work, we position existing datasets and algorithms from various research areas (e.g., domain generalization, stable learning, invariant risk minimization) seemingly unconnected into the same coherent picture. First, we identify and measure two distinct kinds of distribution shifts that are ubiquitous in various datasets. Next, we compare various OoD generalization algorithms with a new benchmark dominated by the two distribution shifts. Through extensive experiments, we show that existing OoD algorithms that outperform empirical risk minimization on one distribution shift usually have limitations on the other distribution shift. The new benchmark may serve as a strong foothold that can be resorted to by future OoD generalization research.

研究の動機と目的

• ドメイン一般化や不変リスク最小化などの分野におけるOoD一般化に関する散在する研究を統一的かつ体系的に整理すること。
• 既存のデータセットに広く見られる2つの明確に異なるタイプの分布シフトを特定・定量化すること。
• これらの2つの分布シフトに強く影響を受ける包括的な新ベンチマークを用いて、既存のOoD一般化アルゴリズムの性能を評価すること。
• ある種の分布シフトでは優れた性能を示すが、他の種類では失敗する現在のアルゴリズムの限界を明らかにすること。

提案手法

• 著者らは、既存のOoD一般化データセットを分析し、2つの主要なタイプの分布シフトを同定・特徴づけた。
• 彼らは、これらの2つの分布シフトを多様なデータ分布にわたり体系的に組み込む新しいベンチマーク、OoD-Benchを設計した。
• 標準化されたプロトコルを用いて、幅広い最先端のOoD一般化アルゴリズムをこのベンチマークで評価した。
• 2つの分布シフト間でのアルゴリズムの性能を比較し、一般化能力におけるトレードオフや限界を明らかにした。

実験結果

リサーチクエスチョン

• RQ1 既存のOoD一般化データセットおよびアルゴリズムの背後にある2つの主要なタイプの分布シフトとは何か？
• RQ2 これらの2つの分布シフトに焦点を当てた統一されたベンチマークで評価された場合、既存のOoD一般化アルゴリズムの性能はどのようになるか？
• RQ3 ある種の分布シフトにおいて経験的リスク最小化を上回る性能を示すアルゴリズムが、他の種類の分布シフトに対しても同等に有効であるか？
• RQ4 現在のOoDアルゴリズムは、異なるタイプの分布シフトにどの程度一般化できるか？

主な発見

• 同定された2つの分布シフト、すなわちドメインシフトとコンセプトシフトは、既存のOoDデータセットに広く存在し、モデルの一般化行動を根本的に規定している。
• ある分布シフトでは経験的リスク最小化を上回る性能を示す既存のOoDアルゴリズムが、他のシフトでは一般化に失敗することが多く、強度の欠如が顕著に現れている。
• 1つのアルゴリズムが両方の分布シフトにおいて経験的リスク最小化を常に上回るとは限らず、現在のアプローチに根本的な限界があることが示された。
• 提案されたOoD-Benchベンチマークは、これらの性能のトレードオフを効果的に露呈し、今後のOoD一般化研究の強固な基盤を提供している。