[論文レビュー] Understanding and Testing Generalization of Deep Networks on Out-of-Distribution Data

Rui Hu, Jitao Sang+3 more|arXiv (Cornell University)|Nov 17, 2021

Anomaly Detection Techniques and Applications参考文献 50被引用数 4

ひとこと要約

本論文は、標準的なインディストリビューション（ID）テストにおける失敗を特定することにより、分布外（OOD）データにおけるディープニューラルネットワークの一般化性能を評価するための新しいOODテストパラダイムを提案する。3種類の分布シフト（周辺、条件付き、結合）を統一的に分類し、IDテストの失敗が誤った相関に起因することを示す。提案されたOODテストは、有害な不要特徴を同定し、モデルの特定のデバッグを可能にするとともに、実用的性能の向上を実現する。

ABSTRACT

Deep network models perform excellently on In-Distribution (ID) data, but can significantly fail on Out-Of-Distribution (OOD) data. While developing methods focus on improving OOD generalization, few attention has been paid to evaluating the capability of models to handle OOD data. This study is devoted to analyzing the problem of experimental ID test and designing OOD test paradigm to accurately evaluate the practical performance. Our analysis is based on an introduced categorization of three types of distribution shifts to generate OOD data. Main observations include: (1) ID test fails in neither reflecting the actual performance of a single model nor comparing between different models under OOD data. (2) The ID test failure can be ascribed to the learned marginal and conditional spurious correlations resulted from the corresponding distribution shifts. Based on this, we propose novel OOD test paradigms to evaluate the generalization capacity of models to unseen data, and discuss how to use OOD test results to find bugs of models to guide model debugging.

研究の動機と目的

• 標準的なインディストリビューション（ID）テストが現実世界の性能を反映しないことから、分布外（OOD）データにおけるディープネットワークの評価ギャップを埋める。
• 分布シフト下でIDテスト結果がOODシナリオに一般化されない理由を調査する。
• OOD一般化能力に基づいてモデルの評価とデバッグが可能な実用的なOODテストフレームワークを開発する。
• 実世界のデプロイメントにおいてモデル性能を損なう重要な不要特徴（「バグ」）を同定することを可能にする。

提案手法

• 周辺、条件付き、結合の3種類の分布シフトを統一的に分類し、OODデータ生成をシミュレートする。
• CelebAおよびColored MNISTデータセット上で、制御された分布シフト設定下でIDおよびOODのトレーニング／テストセットを構築する。
• IDとOODの設定における性能差を分析し、標準的なID評価における失敗を診断する。
• 2種類の誤った相関（周辺的（不要特徴の使用）および条件付き的（誤った特徴-ラベル相関））を、IDテストの失敗の根本的原因として同定する。
• 既知および未知の不要特徴を想定したOODテストパラダイムを、複数レベルの制御された分布シフトを用いて提案する。
• OODテスト結果を、どの不要特徴が性能を著しく低下させるかを特定することで、モデルデバッグを支援するクローズドループワークフローに統合する。

実験結果

リサーチクエスチョン

• RQ1 なぜ標準的なインディストリビューション（ID）テストがディープニューラルネットワークの真の分布外（OOD）性能を反映しないのか？
• RQ2 OOD一般化シナリオにおけるIDテストの失敗の背後にある根本的要因は何か？
• RQ3 未知のデータにおけるモデル一般化性能の評価と比較が可能な信頼性のあるOODテストパラダイムをどのように設計できるか？
• RQ4 OODテスト結果を用いて、ディープラーニングモデル内の有害な不要特徴を同定・デバッグできるか？
• RQ5 周辺的および条件付きの誤った相関は、OOD一般化を損なう役割を果たすか？

主な発見

• IDテストが実際のOOD性能を反映しないのは、モデルが分布シフトに起因する誤った相関を学習するためであり、誤った性能推定を引き起こす。
• 周辺的および条件付きの誤った相関（不要特徴の分布シフトおよび誤ったラベル依存性に起因）が、直接的にIDテストの失敗を引き起こす。
• 実験の結果、ID設定で訓練されたモデルは、特に色やテクスチャといった不要特徴が誤って使用された場合、OODデータで顕著な性能低下を示す。
• 提案されたOODテストパラダイムは、特定の不要特徴（例：性別分類タスクにおける髪の色）に起因する性能低下を効果的に検出できる。
• 異なるレベルおよびタイプの分布シフトにおける性能低下を分析することで、OODテストはどの特徴が深刻なバグであるかを同定し、特定のデータまたはモデルの介入を可能にする。
• OODテストワークフローにより、テストとデバッグのクローズドループが実現され、特徴固有の診断を通じてモデル改善が促進される。