[論文レビュー] Robust Validation: Confident Predictions Even When Distributions Shift

Maxime Cauchois, Suyash Gupta+2 more|arXiv (Cornell University)|Aug 10, 2020

Adversarial Robustness in Machine Learning参考文献 50被引用数 5

ひとこと要約

本稿では、f-発散の球を用いて妥当な分布変化をモデル化することで、分布シフト下でも保証されたカバレッジを達成する、適合性推論手法を提案する。交換可能性のもとで有限標本の有効性を保証し、シフトの大きさの推定器を導入することで、訓練データとは異なるテストデータに対しても、ロバストな信頼性の高い補正が可能となる。

ABSTRACT

While the traditional viewpoint in machine learning and statistics assumes training and testing samples come from the same population, practice belies this fiction. One strategy -- coming from robust statistics and optimization -- is thus to build a model robust to distributional perturbations. In this paper, we take a different approach to describe procedures for robust predictive inference, where a model provides uncertainty estimates on its predictions rather than point predictions. We present a method that produces prediction sets (almost exactly) giving the right coverage level for any test distribution in an $f$-divergence ball around the training population. The method, based on conformal inference, achieves (nearly) valid coverage in finite samples, under only the condition that the training data be exchangeable. An essential component of our methodology is to estimate the amount of expected future data shift and build robustness to it; we develop estimators and prove their consistency for protection and validity of uncertainty estimates under shifts. By experimenting on several large-scale benchmark datasets, including Recht et al.'s CIFAR-v4 and ImageNet-V2 datasets, we provide complementary empirical results that highlight the importance of robust predictive validity.

研究の動機と目的

• 訓練データと異なるテストデータに対しても、分布シフト下で有効なカバレッジを維持する予測的推論手法の開発。
• 訓練分布のf-発散に基づく摂動に対してロバストな不確実性集合の形式化。
• 実用的なロバスト性を実現するため、事前にシフトの知識がない状況でも、予想されるデータシフトの大きさを推定すること。
• 強いパラメトリックな仮定を排除し、訓練データの交換可能性のみを仮定して、有限標本の有効性を保証すること。
• CIFAR-v4 や ImageNet-V2 といった実世界のベンチマークで、自然な分布シフトに対して本手法の有効性を実証すること。

提案手法

• 本手法は、$\widehat{C}(x) = \{y \in \mathcal{Y} \mid s(x,y) \leq q\}$ の形の予測集合を構築する。ここで $q$ は、訓練分布の $f$-発散球内に含まれるすべての分布に対して $1-\alpha$ のカバレッジを保証するように選ばれる。
• 交換可能性のもとで有限標本の有効性を保証するため、分割適合性推論を用いる。これにより、テスト分布が訓練分布と異なる場合でも有効性が保たれる。
• 検証データから導出された一貫性のある推定器を用いて、$f$-発散球の大きさを推定することで、未知のシフトに対してもロバスト性を実現する。
• 経験的モーメントや共変量の射影を用いて不確実性集合を定義することで、実用的かつ直感的な手順で妥当なシフトレベルを推定する。
• スコア関数 $s(x,y)$（例：負の対数尤度）を用いてラベル候補を順位付けし、補正された信頼性を持つ予測集合を構築する。
• 導出された予測集合が、$f$-発散球内すべての $Q$ に対してほぼ正確なカバレッジを達成することを証明し、弱い正則性条件下でシフト推定器の一貫性を示す。

Figure 3: Empirical coverage and average size for the prediction sets generated by the standard conformal methodology (“SC”) and the chi-squared divergence, across 20 random splits of the CIFAR-10 data. We set $\rho$ according to the sampling (“ $\chi^{2}$ -S”), regression (“ $\chi^{2}$ -R”), and cl

実験結果

リサーチクエスチョン

• RQ1 訓練分布の $f$-発散球内に含まれる任意の分布シフト下でも、有効なカバレッジを維持する予測集合を構築できるか？
• RQ2 テスト分布の事前知識がない状況でも、実用的にロバスト性を補正するため、分布シフトの大きさをどのように推定できるか？
• RQ3 分布シフト下における適合性推論の有限標本の有効性は何か？ また、標準的な適合性推論と比べてどう異なるか？
• RQ4 CIFAR-v4 や ImageNet-V2 といった、既知の分布シフトが存在する実世界のベンチマークで、本手法は高い信頼性と精度を維持できるか？
• RQ5 本手法のカバレッジは、シフト推定手順の選択にどれほど敏感か？ また、ロバスト性の限界は何か？

主な発見

• 提案手法は、訓練分布の $f$-発散球内に含まれるすべての分布に対して、有限標本条件のもとでも（ほぼ）正確な $1-\alpha$ カバレッジを達成する。
• 訓練データの交換可能性のみを仮定することで、有効性が保証され、i.i.d. やパラメトリックな仮定を必要としない。
• CIFAR-v4 や ImageNet-V2 における実験的結果から、テストデータに顕著なシフトが生じても、本手法は高いカバレッジを維持し、標準的な適合性推論手法を上回る性能を示す。
• 弱い正則性条件下で、推定されたシフトの大きさは一貫性を示し、実用的な不確実性集合の補正に有効である。
• 感度分析の結果、共変量シフト下でも誤カバレッジが有界に保たれ、最悪ケースの誤カバレッジは推定された $f$-発散レベルによって制御される。
• ベンチマークデータセットで観察される自然な分布シフトに対しても、本手法はロバストであることが示され、標準ベンチマークで11%以上の精度低下が生じてもカバレッジが維持されている。

Figure 4: Empirical coverage and average size for the prediction sets generated by the standard conformal methodology (“SC”) and the chi-squared divergence, across 20 random splits of the MNIST data. We set $\rho$ according to the sampling (“ $\chi^{2}$ -S”), regression (“ $\chi^{2}$ -R”), and class