[論文レビュー] Practical Adversarial Multivalid Conformal Prediction

Osbert Bastani, Varun Gupta+4 more|arXiv (Cornell University)|Jun 2, 2022

Adversarial Robustness in Machine Learning被引用数 7

ひとこと要約

本稿では、保持されたキャリブレーションセットを必要とせずに、アドバーシャルなマルチバリッドなカバレッジを達成する計算効率の良いコンフォーマル予測手法MVP（MultiValid Prediction）を提案する。これは、予測スコアの閾値や任意の重複する特徴サブセット（グループ）に基づく条件付きカバレッジも含め、正確な経験的カバレッジを保証する。従来手法に比べ、閾値キャリブレーションと予測セットの情報量に優れており、分布シフト下でも顕著な性能を示す。

ABSTRACT

We give a simple, generic conformal prediction method for sequential prediction that achieves target empirical coverage guarantees against adversarially chosen data. It is computationally lightweight -- comparable to split conformal prediction -- but does not require having a held-out validation set, and so all data can be used for training models from which to derive a conformal score. It gives stronger than marginal coverage guarantees in two ways. First, it gives threshold calibrated prediction sets that have correct empirical coverage even conditional on the threshold used to form the prediction set from the conformal score. Second, the user can specify an arbitrary collection of subsets of the feature space -- possibly intersecting -- and the coverage guarantees also hold conditional on membership in each of these subsets. We call our algorithm MVP, short for MultiValid Prediction. We give both theory and an extensive set of empirical evaluations.

研究の動機と目的

• 交換可能性の仮定をせず、保持されたキャリブレーションセットを必要とせずに、敵対的データ系列においても正確な経験的カバレッジを維持するコンフォーマル予測手法の開発。
• カバレッジ保証が、マージナルにとどまらず、使用する予測閾値や任意の重複する特徴サブセット（グループ）に基づく条件付きカバレッジにおいても保持されることの保証。
• 計算コストが低く、スケーラブルであり、分類および回帰の両方において任意の事前学習済みモデルにラッピングとして適用可能な手法の設計。
• マージナルカバレッジのみにとどまらず、極端な予測セットによってカバレッジを操作する無情報な「だまし」戦略を回避する、より強い統計的保証の達成。

提案手法

• MVPは、リアルタイムでコンフォーマルスコアに応じて閾値を動的に調整するメカニズムを用い、すべての閾値とグループで同時に経験的カバレッジを維持する。
• 各閾値とグループの組み合わせにおけるカバレッジ失敗回数を継続的にカウントし、ターゲットカバレッジ率を満たすために閾値をリアルタイムで調整可能である。
• アルゴリズムはコンフォーマルスコアの範囲をm個のキャリブレーションバケット（例：m=40）に離散化し、各バケット内でのカバレッジを追跡することでマルチバリッド保証を達成する。
• 特徴空間上で定義された任意の重複するグループ（例：文化的要因、臨床的要因、ユーザー指定のサブセット）をサポートし、条件付きカバレッジを実現する。
• 別個の訓練データとキャリブレーションデータを必要とせず、すべてのデータをモデル訓練に使用可能であり、これはスプリットコンフォーマル予測とは対照的である。
• 閾値キャリブレーションを達成するため、各閾値qに対して、q_t = qとなる回数におけるy_tのカバレッジ頻度が1−δに収束することを保証する。

実験結果

リサーチクエスチョン

• RQ1 保持されたキャリブレーションセットを必要とせずに、閾値および任意の特徴サブセットに基づくマルチバリッドカバレッジを達成できるコンフォーマル予測手法は存在するか？
• RQ2 標準的なコンフォーマル予測が失敗する敵対的または非交換可能な逐次的データ環境下で、この手法はどのように動作するか？
• RQ3 極端な予測セットによってカバレッジを操作する無情報な予測戦略をどの程度回避できるか？
• RQ4 実用的観点から、既存の最先端のコンフォーマル予測手法と比較して、予測セットのサイズとカバレッジ精度の点でどの程度優れているか？

主な発見

• MVPは30,000枚のImageNetバリデーションセットでマージナルカバレッジ0.902133を達成し、RAPSの0.90523と同等の性能を示し、i.i.d.環境下での競争力ある性能を確認した。
• マージナルカバレッジは類似しているものの、MVPの平均予測セットサイズ（2.13986）はRAPSの（2.0506）とわずかに大きいにとどまり、実用的な効率性が優れていることを示している。
• 合成的なスコア上昇系列では、MVPの平均予測セット幅は0.526、ACIは1.839であった。MVPは有意に情報量の多い区間を生成していることを示している。
• ACIの閾値はほとんど常に最大値（1）に近づいており、しばしば自明な予測セット（全セット）を用いていることが示された。一方、MVPの閾値は実際のスコア系列を的確に追跡しており、閾値キャリブレーションが達成されている。
• MVPの閾値は安定的かつ情報量が多く、ACIが示す「ほとんどのラウンドで全セットを予測する」ような『だまし』戦略を回避している。
• 敵対的データ系列下でもマルチバリッドカバレッジを維持でき、時系列や非交換可能なデータを含む任意の分布シフトに対してもロバストである。