[論文レビュー] Computing Full Conformal Prediction Set with Approximate Homotopy

Eugène Ndiaye, Ichiro Takeuchi|arXiv (Cornell University)|Sep 20, 2019

Machine Learning and Algorithms被引用数 4

ひとこと要約

本稿では、一般の回帰モデルに対して、有界な誤差で正則化された経験的リスク最小化の解を近似することで、完全なコンフォーマル予測集合を計算するための効率的なホモトピー続行法を提案する。この手法により、無限個のモデルフィットを必要とせず、有限回のモデルフィットのみで近似の正確性を保証しつつ、強い被覆保証のもとでほぼ正確なコンフォーマル予測が可能となり、近似許容誤差を小さくするに従い、正確な集合に収束する。

ABSTRACT

If you are predicting the label $y$ of a new object with $\hat y$, how confident are you that $y = \hat y$? Conformal prediction methods provide an elegant framework for answering such question by building a $100 (1 - α)\%$ confidence region without assumptions on the distribution of the data. It is based on a refitting procedure that parses all the possibilities for $y$ to select the most likely ones. Although providing strong coverage guarantees, conformal set is impractical to compute exactly for many regression problems. We propose efficient algorithms to compute conformal prediction set using approximated solution of (convex) regularized empirical risk minimization. Our approaches rely on a new homotopy continuation technique for tracking the solution path with respect to sequential changes of the observations. We also provide a detailed analysis quantifying its complexity.

研究の動機と目的

• 一般の回帰問題における正確な完全コンフォーマル予測の計算的非実行可能性（すべての可能なラベルに対して正確に再適合が必要なこと）を解決すること。
• 制御された誤差を伴う有限回のモデルフィットで、コンフォーマル予測集合を近似するスケーラブルな手法を開発すること。
• 弱いi.i.d.および対称性の仮定の下でも、得られる予測集合が有効な被覆性を保つようにすること。
• 滑らかで正則化された回帰推定器に対して、理論的複雑度の境界と実用的な効率性を提供すること。
• 高精度の最適化が、ほぼ最適な予測集合を達成するために必ずしも必要でないことを示すこと。

提案手法

• 新しいラベルの変化に応じて、正則化されたリスク最小化の近似解を追跡するホモトピー続行技術を導入する。
• 損失関数の滑らかさを活用し、新たなデータに基づく最適化誤差の変動を制限することで、効率的な更新を可能にする。
• 候補ラベルの有限グリッド $ z \in [y_{\min}, y_{\max}] $ を用いて解の全パスを近似し、滑らかな損失関数では必要なモデルフィット数が $ O(1/\sqrt{\epsilon}) $ に比例することを示す。
• 近似残差に基づく予測集合を構築し、$ \epsilon $-解から導かれる誤差境界を用いて、分位数ベースの適合スコアを補正する。
• Fenchel-Legendre双対性と双対ギャップ解析を用いて、近似誤差を制御し、被覆性の妥当性を保証する。
• 線形および非線形モデル、特にリッジ回帰、ラッソ、および二乗損失でない損失関数（例：logcosh、linex）に対しても本手法を適用する。

実験結果

リサーチクエスチョン

• RQ1 すべての可能なラベルに対して正確な再適合を必要とせず、一般の凸回帰モデルにおいて完全なコンフォーマル予測集合を効率的に計算できるか？
• RQ2 モデルフィットにおける近似誤差が、得られる予測集合の被覆性とサイズにどのように影響するか？
• RQ3 有界な誤差を伴うホモトピー続行法を用いて、コンフォーマル集合を近似する理論的複雑度は何か？
• RQ4 本手法は、最適でない解を用いても有効な被覆性を維持するのか？スプリッティングベースの手法と比較してどう異なるか？
• RQ5 高精度の最適化は、予測集合の品質をどの程度向上させるのか？また、いつまでたっても必要でないのか？

主な発見

• 提案手法は、すべてのテストされた $ \epsilon $ 水準で、オракル性能と一致するほぼ完全な経験的被覆性（例：$ \alpha = 0.1 $ の場合に 0.92）を達成する。
• $ \epsilon $ が増加しても、スプリッティング手法の結果よりも常に予測集合の長さが短く保たれる。これは、よりタイトな区間を提供していることを示している。
• 計算時間は $ \epsilon $ に比例し、ボストンデータセットでは $ \epsilon = 10^{-8} $ の場合に約37秒を要するが、中程度の $ \epsilon $ では依然として実行可能である。
• 滑らかな損失関数では、必要なモデルフィット数が $ O(1/\sqrt{\epsilon}) $ に比例するため、全解パスの効率的近似が可能になる。
• $ \epsilon \to 0 $ の極限で、正確なコンフォーマル集合に収束し、正則性条件が満たされれば、近似集合が正確な集合を含む。
• 高精度の最適化は限定的な利点しか得られない。$ \epsilon = 10^{-2} $ の場合でも、長さと被覆性の両面で正確な集合に非常に近い予測集合が得られる。