[論文レビュー] On the Expected Size of Conformal Prediction Sets

Guneet S. Dhillon, George Deligiannidis+1 more|arXiv (Cornell University)|Jun 12, 2023

Statistical Methods and Inference被引用数 4

ひとこと要約

本稿は、分割型コントフォーマル予測における予測集合の期待サイズに関する、初めての有限標本理論的分析を提供する。単一のデータ分割を用いて、繰り返しモンテカルロサンプルを用いずに、計算可能な点推定値および高確率的信頼区間を導出する。この手法により、繰り返しサンプリングを必要とせず、一度の計算で効率的な期待集合サイズの推定が可能となり、回帰および分類タスクにおいて強力な被覆保証が得られる。

ABSTRACT

While conformal predictors reap the benefits of rigorous statistical guarantees on their error frequency, the size of their corresponding prediction sets is critical to their practical utility. Unfortunately, there is currently a lack of finite-sample analysis and guarantees for their prediction set sizes. To address this shortfall, we theoretically quantify the expected size of the prediction sets under the split conformal prediction framework. As this precise formulation cannot usually be calculated directly, we further derive point estimates and high-probability interval bounds that can be empirically computed, providing a practical method for characterizing the expected set size. We corroborate the efficacy of our results with experiments on real-world datasets for both regression and classification problems.

研究の動機と目的

• 予測集合の期待サイズに関する有限標本分析が不足しているという問題に取り組むこと。これは実用的導入にとって不可欠である。
• 分割型コントフォーマルフレームワーク下での期待予測集合サイズについて、理論的に根拠のある、経験的に計算可能な推定値を提供すること。
• 多様なユーザーが異なる誤差許容度およびデータ制約を持つ状況においても、効率的なワンラン推定が可能になるようにすること。
• 非適合性関数に適応する高確率的区間推定を提供し、回帰および分類の両方の問題に適用可能であること。
• モンテカルロ平均による経験的推定の計算負荷を軽減するため、繰り返し実行を避けて理論的近似を用いた一度の計算に置き換えること。

提案手法

• 独立同分布データのもとで、非適合性スコアの分布に基づき、分割型コントフォーマル予測集合の期待サイズの理論的表現を導出する。
• 繰り返しモデル実行を避けるために、経験的キャリブレーションスコアを用いて期待サイズの点推定を提案する。
• 中心極限定理およびDvoretzky–Kiefer–Wolfowitz不等式を用いて、期待サイズの周囲に高確率的信頼区間を構築する。
• 非適合性関数に適応する区間推定手順を導入し、回帰および分類問題の両方に適用可能である。
• 合成および実世界のデータセットを用いて推定値を経験的に検証し、点推定値および区間をモンテカルロ平均と比較する。
• すべての推定値に単一のデータ分割を用いることで、ユーザー設定ごとに複数回のコントフォーマル予測実行を回避する。

実験結果

リサーチクエスチョン

• RQ1 分割型コントフォーマル予測フレームワークにおける予測集合の有限標本期待サイズは何か？
• RQ2 繰り返しモンテカルロサンプルを用いずに、期待予測集合サイズの計算可能な点推定値を導出できるか？
• RQ3 異なる非適合性関数に対して有効な、期待予測集合サイズの高確率的信頼区間をどのように構築できるか？
• RQ4 提案手法の推定値は、精度および被覆性の観点でモンテカルロ平均と比べてどう異なるか？
• RQ5 提案手法は、異なるデータおよび誤差許容度制約を持つ分類および回帰タスクに一貫して適用可能か？

主な発見

• 定理1で導出された理論的期待予測集合サイズは、キャリブレーションポイント数が増加するにつれてモンテカルロ平均の極限として正当化される。
• 提案された点推定値は理論的期待サイズをよく追従し、キャリブレーションデータサイズが増加するにつれてその値に収束する。
• 中心極限定理およびDvoretzky–Kiefer–Wolfowitz不等式を用いて構築された信頼区間は高い被覆性を示し、それぞれのノミナル水準（γ=0.1およびγ=0.01）における誤差頻度は、99.9%および100%のケースでその水準を下回っている。
• 提案された区間は非適合性関数に適応可能であり、分類に限定される代替手法（例：HI区間）とは異なり、回帰問題にも適用可能である。
• 繰り返しコントフォーマル予測実行の必要性が軽減され、異なる誤差許容度を持つ複数のユーザーが同じデータ収集および計算結果を一度の処理で利用可能になる。
• 合成および実世界のデータセットにおける経験的結果から、点推定値および区間境界が、$a$、$b$、$m$、$n$の多様な設定において正確かつ信頼性があることが確認された。