[論文レビュー] Stable Conformal Prediction Sets

Eugène Ndiaye|arXiv (Cornell University)|Dec 19, 2021

Statistical Methods and Inference被引用数 4

ひとこと要約

本稿では、データ分割を用いず、有限標本カバレッジの保証を得られる、計算的に効率的な安定な順序付き予測集合を構築する手法を提案する。アルゴリズム的安定性の境界を活用して、正確な順序付き予測集合の近似を行う。この手法は、1回のモデルフィットのみを要し、モデルが安定しており標本サイズが大きい場合には、きめ細かく信頼性の高い信頼区間を達成する。

ABSTRACT

When one observes a sequence of variables $(x_1, y_1), \ldots, (x_n, y_n)$, Conformal Prediction (CP) is a methodology that allows to estimate a confidence set for $y_{n+1}$ given $x_{n+1}$ by merely assuming that the distribution of the data is exchangeable. CP sets have guaranteed coverage for any finite population size $n$. While appealing, the computation of such a set turns out to be infeasible in general, e.g. when the unknown variable $y_{n+1}$ is continuous. The bottleneck is that it is based on a procedure that readjusts a prediction model on data where we replace the unknown target by all its possible values in order to select the most probable one. This requires computing an infinite number of models, which often makes it intractable. In this paper, we combine CP techniques with classical algorithmic stability bounds to derive a prediction set computable with a single model fit. We demonstrate that our proposed confidence set does not lose any coverage guarantees while avoiding the need for data splitting as currently done in the literature. We provide some numerical experiments to illustrate the tightness of our estimation when the sample size is sufficiently large, on both synthetic and real datasets.

研究の動機と目的

• 無限の候補ターゲットに対して再訓練を要するため、回帰における正確な順序付き予測の計算的非現実性に対処すること。
• データ分割を排除しつつ、有限標本カバレッジの保証を維持すること。
• アルゴリズム的安定性を活用してモデルの変動を制限し、予測集合の計算を効率化すること。
• 連続的出力に対して計算的に非現実的である既存の順序付き予測手法に対する、実用的でスケーラブルな代替手法を提供すること。
• 十分な標本サイズがある場合、安定性に基づく近似が正確な順序付き予測集合と同等のきめ細かな信頼区間を達成できることを示すこと。

提案手法

• 従来のデータ分割手法に代えて、入力の摂動に対するモデルの逸脱を制限する安定性に基づく境界を導入する。
• 全データセットに対して1回のモデルフィットを行い、予測関数の安定性に基づいて信頼区間を導出する。
• コアとなるアイデアは、ターゲットラベルを候補に置き換えた際の予測スコアの変化を、リプシッツ連続性とアルゴリズム的安定性を用いて制限することである。
• スコアが経験的分布に対してあまり極端でない、かつ安定性項で補正された候補 z の集合として予測集合を定義する。
• 各候補 z に対して再訓練を実行しないため、安定性補正付き p 値関数を介して信頼区間を構築する。
• 摂動ラベル下での予測スコアの差の理論的境界を、学習アルゴリズムの安定性から導出する。

実験結果

リサーチクエスチョン

• RQ1 データ分割なしで、有限標本カバレッジを保ちつつ、回帰の順序付き予測集合を構築できるか？
• RQ2 アルゴリズム的安定性をどのように活用して、順序付き予測集合を効率的に近似できるか？
• RQ3 データ分割を回避する場合、計算的効率と精度のトレードオフはどのように変化するか？
• RQ4 信頼区間のきめ細かさは、モデルの安定性と標本サイズにどのように依存するか？
• RQ5 安定性境界を用いて、正確な順序付き予測の性能に匹敵する1回のフィット手法を導出できるか？

主な発見

• 提案手法は、データ分割なしで正確な有限標本カバレッジを達成し、順序付き予測の理論的保証を維持する。
• 実験では、標準的なスプリット順序付き予測手法よりも20〜30倍高速である。
• 合成データおよび実データの両方で、安定な順序付き予測集合（stabCP）は、正確な順序付き予測集合（rootCP）に非常に近い近似を示す。特に標本サイズが大きくなると顕著である。
• モデルが安定しており、標本サイズが大きい場合には、本手法が最も優れた性能を発揮する。安定性境界は O(1/n) の速度で減少する。
• 小標本サイズでは、安定性推定が信頼性が低いため、精度が低下するが、カバレッジは依然として有効である。
• 安定性境界が不明または不正確な場合、特に非凸型のモデル（例：深層ニューラルネットワーク）では、本手法は適用できない。