[論文レビュー] Probabilistic Conformal Prediction Using Conditional Random Samples

Zhendong Wang, Ruijiang Gao+3 more|arXiv (Cornell University)|Jun 14, 2022

Neural Networks and Applications被引用数 4

ひとこと要約

本稿では、条件付き生成モデルからサンプリングし、サンプルの周囲にボールの集合を形成することで、多次元および多目的回帰のための鋭い有効な予測集合を構築する確率的コンフォーマル予測（PCP）を提案する。PCPは有限標本におけるマージナルカバレッジを保証し、特にタクシーの降車地点のような複雑で非連続的なターゲット分布において、既存のコンフォーマル手法を上回る鋭さを示す。

ABSTRACT

This paper proposes probabilistic conformal prediction (PCP), a predictive inference algorithm that estimates a target variable by a discontinuous predictive set. Given inputs, PCP construct the predictive set based on random samples from an estimated generative model. It is efficient and compatible with either explicit or implicit conditional generative models. Theoretically, we show that PCP guarantees correct marginal coverage with finite samples. Empirically, we study PCP on a variety of simulated and real datasets. Compared to existing methods for conformal inference, PCP provides sharper predictive sets.

研究の動機と目的

• ターゲット分布が多次元である場合に、既存のコンフォーマル予測手法が連続的で過剰に広がった予測集合を生成するという限界を是正すること。
• ターゲットの密度構造に適応することで、有限標本におけるマージナルカバレッジを維持しながら、より鋭く情報量の多い予測集合を生成する手法を開発すること。
• 尤度フリーな設定を含む、明示的および暗黙的条件付き生成モデルとの互換性を確保すること。
• 高密度集合の構築によりターゲット間の依存関係を捉えることで、多目的回帰へのフレームワークの拡張を図ること。
• 合成データおよび実世界のデータセット（ニューヨークのタクシー降車地点予測を含む）において、優れた鋭さと有効なカバレッジを実証的に示すこと。

提案手法

• PCPはデータを予備セットとキャリブレーションセットに分割し、予備セットで条件付き生成モデルを学習する。
• 各キャリブレーション点に対して、学習済みモデルからK個の独立したサンプルを生成し、各サンプルと真のラベルとの距離を非適合スコアとして計算する。
• これらの非適合スコアの(1−α)経験的 quantile を計算し、予測ボールの半径を定義する。
• 新しい入力に対しては、モデルからK個のサンプルを生成し、各サンプルの周囲に、キャリブレーション段階で得たquantile に等しい半径のボールを形成し、それらの和集合を予測集合とする。
• 高密度PCP（HD-PCP）は、より確率の高いサンプルのみを選択することで、集合をさらに精錐化し、スパarsity と解釈可能性を向上させる。
• 本手法は暗黙的モデルとも互換性があり、条件付き分布からのランダムサンプリングが可能であれば十分である。

実験結果

リサーチクエスチョン

• RQ1 連続的な区間が最適でない多次元ターゲット分布に対して、コンフォーマル予測手法が有効かつ鋭い予測集合を生成できるか？
• RQ2 暗黙的または尤度フリーな条件付き生成モデルと効率的に連携できるように、コンフォーマル予測をどのように適合できるか？
• RQ3 生成モデルからのランダムサンプルに基づくボールの和集合アプローチが、有限標本におけるマージナルカバレッジを維持するか？
• RQ4 PCPの性能は、実世界および合成データにおいて、既存のコンフォーマル手法と比較して集合サイズとカバレッジの観点でどのように異なるか？
• RQ5 PCPおよびHD-PCPは、鋭さと有効性を維持しつつ、多目的回帰における依存関係を効果的にモデル化できるか？

主な発見

• 理論的に証明されたように、PCPは有限標本において有効なマージナルカバレッジを達成し、真のラベルが予測集合に含まれる確率が少なくとも1−α以上であることを保証する。
• ニューヨークのタクシーデータセットにおいて、PCPおよびHD-PCPはCDSplitおよびCHRよりも顕著に鋭い予測集合を生成し、異なる地域や空港を捉えつつ、それらの間の低密度領域を含まない。
• 多目的回帰において、HD-PCPはCDSplitおよびCHRと比較して予測集合サイズを最大50％まで削減し、83％のペairwise 比較でHD-PCPがより鋭い結果を示した。
• 相関係数ρが増加する合成データに対して、PCPおよびHD-PCPは集合サイズを維持または縮小するのに対し、他のベースライン手法はほとんど変化しないことから、ターゲット構造への適応性が示された。
• ρ=9のとき、PCPの平均集合サイズは171.61（HD-PCP）および205.63（PCP）であり、CDSplit-MixDの415.86およびCHR-NNetの689.22と比較して顕著に小さいことが示され、優れた鋭さが裏付けられた。
• 実験的結果から、PCPおよびHD-PCPは多次元的、多目的的、高次元回帰タスクを含む多様なデータタイプに対して、強固であることが示された。