[論文レビュー] OoD-Bench: Quantifying and Understanding Two Dimensions of Out-of-Distribution Generalization

Nanyang Ye, Kaican Li+6 more|arXiv (Cornell University)|Jun 7, 2021

Machine Learning in Healthcare被引用数 7

ひとこと要約

本稿では、分布外（OoD）一般化における2種類の異なる分布シフト—多様性シフトと相関シフト—を定量化するフレームワーク、OoD-Benchを紹介する。各シフトに支配的なベンチマーク上で既存のOoDアルゴリズムを評価することで、著者たちは大多数の手法が1つのシフトタイプでのみ優れた性能を示すことを明らかにした。これは、現在のアプローチにおける根本的な制限を露呈し、シフトの特徴に基づいたよりバランスの取れた評価と設計の必要性を示唆する。

ABSTRACT

Deep learning has achieved tremendous success with independent and identically distributed (i.i.d.) data. However, the performance of neural networks often degenerates drastically when encountering out-of-distribution (OoD) data, i.e., when training and test data are sampled from different distributions. While a plethora of algorithms have been proposed for OoD generalization, our understanding of the data used to train and evaluate these algorithms remains stagnant. In this work, we first identify and measure two distinct kinds of distribution shifts that are ubiquitous in various datasets. Next, through extensive experiments, we compare OoD generalization algorithms across two groups of benchmarks, each dominated by one of the distribution shifts, revealing their strengths on one shift as well as limitations on the other shift. Overall, we position existing datasets and algorithms from different research areas seemingly unconnected into the same coherent picture. It may serve as a foothold that can be resorted to by future OoD generalization research. Our code is available at https://github.com/ynysjtu/ood_bench.

研究の動機と目的

• OoDデータセットに一般的に見られる2種類の異なる分布シフト—多様性シフトと相関シフト—を特定・定量化すること。
• 各シフトタイプに支配的なベンチマーク上で、既存のOoD一般化アルゴリズムの性能を評価すること。
• 最近のOoDアルゴリズムが、優位性を主張しているにもかかわらず、なぜしばしばERM（確率的勾配降下法）と同等の性能しか発揮しないのかを説明すること。
• ドメイン一般化、因果推論、安定学習といった分野における分散したOoD研究を統合的に理解するための包括的フレームワークを提供すること。
• 今後のOoD研究のための、両シフトタイプにおける包括的評価と、改善されたデータセット設計の推奨

提案手法

• 著者たちは、潜在的環境分布のサポート集合の違いを多様性シフト、同じサポート上での確率密度関数の違いを相関シフトとして定義する。
• 潜在空間解析と分布比較を用いて、任意のラベル付きデータセットにおける各シフトの強度を推定する手法を提案する。
• 広範な実験を実施し、多様性シフトに支配的なグループ（例：VLCS、PACS）と、相関シフトに支配的なグループ（例：ImageNet-V2）の2つのベンチマークグループを対象とする。
• 両設定下でアルゴリズムを評価し、相対的な性能を比較し、強みと弱みを特定する。
• ドメイン一般化、因果推論、安定学習といった分散した研究分野からの知見を統合し、OoDシフトの包括的理解を構築する。
• 公平な比較を保証するため、アルゴリズム間でハイパーパrameter探索空間を標準化し、デフォルト値と分布を補足テーブルに記載する。

実験結果

リサーチクエスチョン

• RQ1 OoDデータセットにおける分布シフトは、どのように定量的に測定・分類できるか？
• RQ2 多くの高度なOoD一般化アルゴリズムが、実際にはなぜERMと同等の性能しか示さないのか？
• RQ3 既存のOoDアルゴリズムは、異なるタイプの分布シフトにおいて一貫した性能を示すのか？
• RQ4 多様性シフトと相関シフトは、モデルの一般化にどのように異なる影響を与えるか？
• RQ5 これらの発見は、今後のOoDベンチマーク設計とアルゴリズム開発にどのような意味を持つのか？

主な発見

• 多様性シフトに支配的なデータセット（例：VLCS、PACS）では、CORAL、SagNet、RSCなどのアルゴリズムがERMを上回るか、同等の性能を示し、従来の主張と整合的である。
• 相関シフトが顕著なImageNet-V2では、ERMが他のすべてのOoDアルゴリズムを上回り、多様性シフトベンチマークとは逆に性能順位が逆転している。
• ERMと高度なOoD手法との間の性能差は、アルゴリズム自体の欠陥によるものではなく、評価ベンチマークにおけるシフトタイプの不一致に起因する。
• 大多数のOoDアルゴリズムは、1つのシフトタイプでのみ有効であることが判明し、多様性シフトと相関シフトの両方に対して耐障害性に欠けることが示された。
• 本研究では、現在のベンチマークとアルゴリズムが、シフトタイプ全体にわたって均一に評価されていないことが明らかとなり、アルゴリズム的進歩の過大評価が生じていることが判明した。
• 著者たちは、現実のシフトを繊細に捉える新しいベンチマークの設計と、多様性シフトおよび相関シフト両方のデータセットでのアルゴリズム評価を通じて、包括的評価を保証するよう提言する。