[論文レビュー] Nested Conformal Prediction and the Generalized Jackknife

Arun Kumar Kuchibhotla, Aaditya Ramdas|arXiv (Cornell University)|Oct 23, 2019

Advanced Statistical Methods and Models被引用数 4

ひとこと要約

この論文は、ネストされた集合の系列を用いて再定式化された、ネストされたコンフォーマル予測フレームワークを導入する。このフレームワークにより、分位数回帰や密度推定に基づく非適合スコアを含む、非適合スコアの統一的取り扱いが可能となり、クロスコンフォーマルやジャックナイフ+といった集合手法への自然な拡張が可能になる。このフレームワークは、QOOBと呼ばれる新しいアルゴリズムを生み出し、分位数回帰、クロスコンフォーマル化、アンサンブル学習、アウトオブバッグ予測を統合する。このQOOBは、多様なデータセットにおいて最先端の性能を達成する。

ABSTRACT

Conformal prediction is a popular tool for providing valid prediction sets for classification and regression problems, without relying on any distributional assumptions on the data. While the traditional description of conformal prediction starts with a nonconformity score, we provide an alternate (but equivalent) view that starts with a sequence of nested sets and calibrates them to find a valid prediction set. The nested framework subsumes all nonconformity scores, including recent proposals based on quantile regression and density estimation. While these ideas were originally derived based on sample splitting, our framework seamlessly extends them to other aggregation schemes like cross-conformal, jackknife+ and out-of-bag methods. We use the framework to derive a new algorithm (QOOB, pronounced cube) that combines four ideas: quantile regression, cross-conformalization, ensemble methods and out-of-bag predictions. We develop a computationally efficient implementation of cross-conformal, that is also used by QOOB. In a detailed numerical investigation, QOOB performs either the best or close to the best on all simulated and real datasets.

研究の動機と目的

• 従来の非適合スコア手法を一般化する、統一的かつ分布フリーなコンフォーマル予測のフレームワークの開発。
• サンプル分割を超えて、クロスコンフォーマル、ジャックナイフ+、アウトオブバッグ手法といった集合技術を含むコンフォーマル予測の拡張。
• 分位数回帰、アンサンブル手法、クロスコンフォーマル化、アウトオブバッグ予測をネストされたフレームワーク内に統合した新しいアルゴリズムQOOBの設計。
• 実用的導入を可能にする、クロスコンフォーマル予測の計算的に効率的な実装の提供。
• シミュレートされたおよび実世界のデータセットにおいて、QOOBの性能を実証的に評価し、その優位性またはほぼ優位性を示すこと。

提案手法

• フレームワークは、ベース予測器から得られるネストされた予測集合の系列から出発し、従来の非適合スコアアプローチに代わるものである。
• 交換可能性のもとで有効なカバレッジを達成するために、これらのネストされた集合のサイズを調整することでキャリブレーションが行われ、有限標本における有効性が保証される。
• ネストされた集合構造を通じて、分位数回帰や密度推定に基づくすべての標準的非適合スコアが一般化される。
• ネストされた構造を活用することで、クロスコンフォーマル、ジャックナイフ+、アウトオブバッグ予測といった集合スキームとのスムーズな統合が可能となり、一貫性のあるキャリブレーションが実現される。
• 非適合スコアに分位数回帰を用い、アンサンブル平均、クロスコンフォーマル化、アウトオブバッグ予測を統合した新しいアルゴリズムQOOB（Quantile Out-of-Bag）が導出される。
• 計算コストを低減するために、QOOBで再利用可能なクロスコンフォーマル予測の効率的実装が開発されている。

実験結果

リサーチクエスチョン

• RQ1 ネストされた集合フレームワークは、コンフォーマル予測における既存の非適合スコア手法を統一的かつ一般化できるか？
• RQ2 コンフォーマル予測は、サンプル分割を越えて、クロスコンフォーマルやジャックナイフ+といった集合手法を含む形に拡張可能か？
• RQ3 分位数回帰、アンサンブル手法、クロスコンフォーマル化、アウトオブバッグ予測を1つのアルゴリズムに統合することで、どのような性能向上が達成できるか？
• RQ4 ネストされたフレームワークは、クロスコンフォーマル予測の計算的に効率的な実装をサポートできるか？
• RQ5 提案されたQOOBアルゴリズムは、多様なデータセットにおいて、予測集合のサイズとカバレッジ有効性の観点で、既存手法と比較してどのように差をつけるか？

主な発見

• ネストされたコンフォーマル予測フレームワークは、コンフォーマル予測の同等だがより一般的な定式化を提供し、すべての標準的非適合スコアを包含する。
• このフレームワークにより、クロスコンフォーマル、ジャックナイフ+、アウトオブバッグ予測といった集合手法への自然な拡張が可能となり、コアのキャリブレーション手順を変更することなく実現される。
• フレームワークから導出されたQOOBは、研究で評価されたすべてのシミュレートおよび実世界のデータセットにおいて、最高またはほぼ最高の性能を達成する。
• クロスコンフォーマル予測の計算的に効率的な実装により、スケールに応じた実用的導入が可能になる。
• ネストされたフレームワークにより、コンフォーマル予測内での分位数回帰とアンサンブル学習の原理的統合が可能となり、予測集合の品質が向上する。