[論文レビュー] ID and OOD Performance Are Sometimes Inversely Correlated on Real-world Datasets

Damien Teney, Lin, Yong+2 more|arXiv (Cornell University)|Sep 1, 2022

Machine Learning and Data Classification被引用数 7

ひとこと要約

本稿は、現実世界のデータセットにおいて、分布内（ID）性能と分布外（OOD）性能が逆相関である可能性を示している—これは、一般的な正の相関を仮定する考え方に挑戦するものである。実証的分析と理論的モデリングを通じて、ID性能のみを最適化するモデルは、特に誤った特徴量（スループット特徴）が訓練分布を支配する場合、OOD一般化性能において劣ることがあることを示している。

ABSTRACT

Several studies have compared the in-distribution (ID) and out-of-distribution (OOD) performance of models in computer vision and NLP. They report a frequent positive correlation and some surprisingly never even observe an inverse correlation indicative of a necessary trade-off. The possibility of inverse patterns is important to determine whether ID performance can serve as a proxy for OOD generalization capabilities. This paper shows with multiple datasets that inverse correlations between ID and OOD performance do happen in real-world data - not only in theoretical worst-case settings. We also explain theoretically how these cases can arise even in a minimal linear setting, and why past studies could miss such cases due to a biased selection of models. Our observations lead to recommendations that contradict those found in much of the current literature. - High OOD performance sometimes requires trading off ID performance. - Focusing on ID performance alone may not lead to optimal OOD performance. It may produce diminishing (eventually negative) returns in OOD performance. - In these cases, studies on OOD generalization that use ID performance for model selection (a common recommended practice) will necessarily miss the best-performing models, making these studies blind to a whole range of phenomena.

研究の動機と目的

• IDとOOD性能の逆相関が、理論的最悪ケースにとどまらず、現実世界のデータセットでも生じるかどうかを調査すること。
• 過去の研究が、モデル選択の偏りにより、このような逆パターンを体系的に見逃してきた理由を説明すること。
• 逆相関がモデルの誤指定と誤った特徴量への依存から生じることを、理論的および実証的証拠で示すこと。
• OOD一般化のためのモデル選択において、ID性能を代理指標として用いるという広く普及した慣習に挑戦すること。
• IDとOOD性能の潜在的トレードオフを考慮した、OOD一般化研究のための見直された手法論を提言すること。

提案手法

• OODベンチマーキングの文献に含まれるCamelyon17など、複数の現実世界データセットでIDおよびOOD性能を実証的に評価した。
• 最適化の軌道に沿った性能変動を評価するため、異なるエポック数とランダムシードでモデルを訓練した。
• 解空間の多様性を高める正則化子をERM目的関数に適用し、逆相関を明らかにした。
• 最小限の理論的線形モデルを構築し、強靭な特徴量と誤った特徴量が共存する場合に、どのように逆相関が生じるかを示した。
• 分布シフトの大きさがID/OOD性能のパターンに与える影響を分析し、特定のシフト条件下で逆相関が現れることを示した。
• 既存のOODベンチマーキング手法の限界を評価し、特にID性能が不十分なモデルを除外するような手法が、最適なOOD性能を示すモデルの検出を無効にしている点を指摘した。

実験結果

リサーチクエスチョン

• RQ1 理論的最悪ケースにとどまらず、現実世界のデータセットにおいても、IDとOOD性能の逆相関が観察可能か？
• RQ2 理論的には可能であるにもかかわらず、過去の研究がなぜ逆相関を観測しなかったのか？
• RQ3 具体的に、モデルの誤指定という根本的メカニズムが、ID/OOD性能の逆相関パターンを生じる理由は何か？
• RQ4 分布シフトの大きさの違いが、IDとOOD性能の関係にどのように影響するか？
• RQ5 ID性能上位のモデルのみを選択するという一般的なOODベンチマーキング慣行が、最適なOOD性能を示すモデルの検出をどの程度無効にしているか？

主な発見

• Camelyon17および付録に記載された5つの追加データセットのうち4つで、IDとOOD性能の逆相関が実証的に観察された。
• 解空間の探索を促進する多様性誘導正則化子を用いた場合、逆相関パターンが顕著に現れた。これは、隠れたトレードオフが解空間の探索によって明らかになることを示唆している。
• 理論的分析により、強靭な特徴量と誤った特徴量が共存する場合、ERM目的関数が誤った特徴量を優遇することで、逆相関が生じることが示された。
• 過去の研究が逆相関を逃したのは、ID性能が不十分なモデルを除外するというモデル選択の偏りによる可能性が高く、その結果、OOD性能が優れたモデルが除外された可能性がある。
• 本研究では、ID性能にのみ注目してモデル選択を行うと、OOD性能に低下あるいは逆に悪化する結果になる可能性があることを示した。
• 本研究の結果は、誤った相関が強い状況において、ID性能をOOD一般化の信頼できる代理指標と見なすという文献上の一般的な推奨事項を無効にしている。