[論文レビュー] Uncertainty Sets for Image Classifiers using Conformal Prediction

Anastasios N. Angelopoulos, Stephen Bates+2 more|arXiv (Cornell University)|Sep 29, 2020

Anomaly Detection Techniques and Applications参考文献 35被引用数 31

ひとこと要約

本論文は Regularized Adaptive Prediction Sets (RAPS) を紹介します。これは conformal-calibration-based な手法で、任意の画像分類器を有限サンプルのカバレッジ保証を持つ予測集合へ変換し、単純な手法や APS アプローチより小さく、より適応的な不確実性集合を生み出します。ImageNet 上でさまざまな CNN アーキテクチャを用いて実証しています。

ABSTRACT

Convolutional image classifiers can achieve high predictive accuracy, but quantifying their uncertainty remains an unresolved challenge, hindering their deployment in consequential settings. Existing uncertainty quantification techniques, such as Platt scaling, attempt to calibrate the network's probability estimates, but they do not have formal guarantees. We present an algorithm that modifies any classifier to output a predictive set containing the true label with a user-specified probability, such as 90%. The algorithm is simple and fast like Platt scaling, but provides a formal finite-sample coverage guarantee for every model and dataset. Our method modifies an existing conformal prediction algorithm to give more stable predictive sets by regularizing the small scores of unlikely classes after Platt scaling. In experiments on both Imagenet and Imagenet-V2 with ResNet-152 and other classifiers, our scheme outperforms existing approaches, achieving coverage with sets that are often factors of 5 to 10 smaller than a stand-alone Platt scaling baseline.

研究の動機と目的

• 画像分類における点推定を超えた実用的な不確実性定量化の必要性を動機づける。
• 有限サンプルのカバレッジ保証を持つ予測不確実性集合を作成するための高速でモデルに依存しない手法を開発する。
• 尾部確率を安定化させることで、より小さく、より適応的な集合を提供する既存の conformal prediction アプローチを改善する。
• 複数の CNN アーキテクチャに跨る大規模データセット（ImageNet、ImageNet-V2）で実用的な性能向上を示す。

提案手法

• 事前 trained の画像分類器がクラス確率を出力するところから始める。
• 予測確率でクラスを並べ替え、 unlikely tail クラスの包含を罰する正則化項を導入する。
• キャリブレーションセット上で 1−α のカバレッジを保証するチューニングパラメータ τ を選択する conformal calibration スキームを定義する（split-conformal prediction）。
• ランクに基づく質量、ランダム化閾値、正則化ペナルティ k_reg と λ によって制御される正則化予測集合 C*(x,u,τ) を用いる。
• 将来のテスト点に対して有限サンプルのカバレッジを保証するため、保留の conformal セットで τ をキャリブレーションする（定理 1 および命題 1）。
• RAPS が固定サイズの top-k セットを支配し、1/(n+1) のスラックの下でカバレッジを提供することを証明する（命題 2）。
• ImageNet-Val と ImageNet-V2 を複数のアーキテクチャで評価し、ナイーブおよび APS のベースラインと比較する。

実験結果

リサーチクエスチョン

• RQ1 現代の CNN 分類器に conformal prediction を適用して、有限サンプルのカバレッジを保証する予測集合を提供できるか？
• RQ2 conformal prediction スキームに正則化を取り入れると、カバレッジを損なうことなく、より小さく、より適応的な不確実性集合を得られるか？
• RQ3 RAPS は not naively と Adaptive Prediction Sets (APS) と比較して、カバレッジ、集合サイズ、適応性の点でどのように異なるか？
• RQ4 パラメータ（k_reg, λ）の調整が、得られる予測集合の適応性とカバレッジに与える影響は？
• RQ5 提案手法は、ターゲット分布から drawn したキャリブレーションセットを使用した場合、分布シフト（例：Imagenet vs. Imagenet-V2）の下でも保証を維持するか？

主な発見

• RAPS は 1−α のカバレッジを保証しつつ、ナイーブまたは APS アプローチより著しく小さな予測集合を提供する。
• ImageNet-Val の9つの CNN モデルにおいて、RAPS は平均集合サイズを大きく削減しつつ目標カバレッジに近い状態を維持し、サイズと安定性の点で APS を上回る。
• Imagenet-V2 では、訓練データと評価データ間の分布シフトにもかかわらず、同様に小さな平均集合サイズでカバレッジを維持する。
• RAPS の集合は難易度の高い事例には大きく、容易な画像には小さくなる、適応的な振る舞いを示し、不確実性を事例の難易度に合わせて調整する。
• k_reg と λ の自動調整は適応性を高め、カバレッジを維持しつつ APS に比べてサイズの層別カバレッジバランスで優れる。
• 理論的保証は、RAPS が固定サイズの top-k 予測集合を凌駕し、カバレッジが有限サンプル補正項 (1/(n+1)) を持つことを示す。