[論文レビュー] Selection and Aggregation of Conformal Prediction Sets

Yachong Yang, Arun Kumar Kuchibhotla|arXiv (Cornell University)|Apr 28, 2021

Gaussian Processes and Bayesian Inference参考文献 40被引用数 9

ひとこと要約

本稿では、有限標本の妥当性を維持しながら予測集合の幅を最小化する2つの新しい適合性予測選択手法——効率最優先（EFCP）と妥当性最優先（VFCP）——を提案する。EFCPは近似的な被覆率を達成しつつ、ほぼ最適な幅を実現する。VFCPは有限標本の妥当性を保証しつつ、ほぼ最小の幅を達成し、オラクル不等式と実験的評価により、ベースライン手法と比較して10–30%幅が狭い予測区間を示した。

ABSTRACT

Conformal prediction is a generic methodology for finite-sample valid distribution-free prediction. This technique has garnered a lot of attention in the literature partly because it can be applied with any machine learning algorithm that provides point predictions to yield valid prediction regions. Of course, the efficiency (width/volume) of the resulting prediction region depends on the performance of the machine learning algorithm. In the context of point prediction, several techniques (such as cross-validation) exist to select one of many machine learning algorithms for better performance. In contrast, such selection techniques are seldom discussed in the context of set prediction (or prediction regions). In this paper, we consider the problem of obtaining the smallest conformal prediction region given a family of machine learning algorithms. We provide two general-purpose selection algorithms and consider coverage as well as width properties of the final prediction region. The first selection method yields the smallest width prediction region among the family of conformal prediction regions for all sample sizes but only has an approximate coverage guarantee. The second selection method has a finite sample coverage guarantee but only attains close to the smallest width. The approximate optimal width property of the second method is quantified via an oracle inequality. As an illustration, we consider the use of aggregation of non-parametric regression estimators in the split conformal method with the absolute residual conformal score.

研究の動機と目的

• 複数の機械学習アルゴリズムが利用可能な状況において、有限標本の妥当性と効率性を両立した適合性予測集合を構築する課題に対処すること。
• 特に標本サイズが小さいまたは中程度の状況において、被覆の妥当性を損なわず、予測領域の幅を最小化すること。
• 一般用途の選択アルゴリズムを構築し、標準的な適合性手法よりも効率性を高めつつ、分布フリーな妥当性を維持すること。
• さまざまな設定下での提案手法の幅性能に対して、オラクル不等式を用いて理論的保証を確立すること。
• 幅の指標をスカラー区間を越えて一般化することで、高次元および複雑なデータへの適用可能性を拡張すること。

提案手法

• 効率最優先適合性予測（EFCP）を導入し、データ駆動の選択ルールを用いて、分割適合性領域の族から幅が最小の予測集合を選択する。
• 妥当性最優先適合性予測（VFCP）を構築し、有限標本の被覆を保証しつつ、近似的最適性基準に基づき幅を最小化する領域を選択する。
• 分割適合性法を基本的手法として採用し、サブセットで学習し、ホールドアウトセットでキャリブレーションすることで予測区間を計算する。
• 経験的リスク最小化と残差分位点を用いて適合性スコアを計算し、i.i.d.仮定下で分布フリーな妥当性を保証する。
• オラクル不等式を適用し、特に漸近的状況下で、VFCPの幅が理論的最小幅に近いかどうかを定量的に評価する。
• 幅の指標を任意の予測集合の特性（例：多ラベル設定における偽陽性率）に一般化し、より広範な応用を可能にする。

実験結果

リサーチクエスチョン

• RQ1 複数の学習アルゴリズムの族において、有限標本の妥当性を満たしつつ、可能な限り幅の狭い適合性予測集合を構築できるか？
• RQ2 有限標本の被覆妥当性と予測集合の効率性のトレードオフを、適合性予測においてどのように調整できるか？
• RQ3 複数のアルゴリズムを用いた場合に、選択された予測集合の幅に対してどのような理論的保証を提供できるか？
• RQ4 EFCP や VFCP などの提案手法は、分割適合性やクロス適合性といった既存の適合性手法と比較して、幅と被覆性能の点でどのように優れているか？
• RQ5 選択フレームワークは、数値でない、あるいは複雑な予測空間（例：画像や関数）に対しても拡張可能か？

主な発見

• EFCPは、さまざまな次元において、VFCPと比較して平均で20%幅が狭く、幅の標準誤差も平均で30%小さくなった。
• 高次元設定（d ≥ N）では、線形法およびナイーブ法が完全に失敗し、区間長が0で被覆率も0となったが、EFCPはほぼ完全な被覆率を維持した。
• EFCPは近似的な有限標本の妥当性を達成し、すべての標本サイズでほぼ最適な幅を実現した。シミュレーションでは被覆違反は観察されなかった。
• VFCPは有限標本の被覆妥当性を保証し、オラクル不等式により、最適幅の定数倍以内の幅を達成した。
• リッジ回帰においてペナルティパラメータを変化させた場合、EFCPおよびVFCPは漸近的最適性を達成し、真のデータ分布下での最小可能予測領域と一致した。
• 多ラベル分類では、幅の代わりに偽陽性率を最適化基準にすることで、性能が向上し、本手法の汎用性が実証された。