[論文レビュー] Conformal prediction for exponential families and generalized linear models

Daniel J. Eck, Forrest W. Crawford|arXiv (Cornell University)|May 9, 2019

Statistical Methods and Inference被引用数 1

ひとこと要約

本稿は、連続的アウトカムを持つ一般化線形モデル（GLMs）に対して、有限標本の妥当性を保証する2つのパrametricな共形予測手法を提案する。1つ目の手法は予測子空間のビニングを用いて局所的妥当性を達成し、最適な収束速度を達成する。2つ目の手法は確率積分変換を適用して周辺的妥当性と漸近的最小性を達成し、収束速度は$\sqrt{\log(n)/n}$のレートを達成する。

ABSTRACT

Conformal prediction methods construct prediction regions for iid data that are valid in finite samples. We provide two parametric conformal prediction regions that are applicable for a wide class of continuous statistical models. This class of statistical models includes generalized linear models (GLMs) with continuous outcomes. Our parametric conformal prediction regions possesses finite sample validity, even when the model is misspecified, and are asymptotically of minimal length when the model is correctly specified. The first parametric conformal prediction region is constructed through binning of the predictor space, guarantees finite-sample local validity and is asymptotically minimal at the $\sqrt{\log(n)/n}$ rate when the dimension $d$ of the predictor space is one or two, and converges at the $O\{(\log(n)/n)^{1/d}\}$ rate when $d > 2$. The second parametric conformal prediction region is constructed by transforming the outcome variable to a common distribution via the probability integral transform, guarantees finite-sample marginal validity, and is asymptotically minimal at the $\sqrt{\log(n)/n}$ rate. We develop a novel concentration inequality for maximum likelihood estimation that induces these convergence rates. We analyze prediction region coverage properties, large-sample efficiency, and robustness properties of four methods for constructing conformal prediction intervals for GLMs: fully nonparametric kernel-based conformal, residual based conformal, normalized residual based conformal, and parametric conformal which uses the assumed GLM density as a conformity measure. Extensive simulations compare these approaches to standard asymptotic prediction regions. The utility of the parametric conformal prediction region is demonstrated in an application to interval prediction of glycosylated hemoglobin levels, a blood measurement used to diagnose diabetes.

研究の動機と目的

• モデルが誤指定されている場合でも、有限標本の妥当性を維持する共形予測手法の開発。
• 正しいモデル仕様のもとで予測領域長を最小化することで、漸近的効率性を確保する。
• 連続的アウトカムを持つ指数型分布族およびGLM設定への共形予測の拡張。
• 非パラメトリックおよび残差に基づく代替手法と比較して、カバレッジと効率性の観点からパラメトリック共形手法を評価する。
• 糖尿病診断におけるグリコヘモグロビン値予測への応用を通じて、実用的有用性を示す。

提案手法

• 予測子空間のビニングを用いてパラメトリックな共形予測領域を構築し、有限標本における局所的妥当性を保証する。
• アウトカム変数に確率積分変換を適用して一様分布に変換し、周辺的妥当性を実現する。
• 予測領域の収束速度を裏付ける、最大尤度推定に対する新しい濃度不等式を導出する。
• パラメトリックな共形手法において、仮定されたGLM密度を適合度測度として用いることで、効率性を向上させる。
• 交換可能性のもとで妥当性を維持するため、1つずつ除外するフレームワークを用いて適合度スコアを計算する。
• 非パラメトリックなカーネルベース、残差ベース、正規化された残差ベース、およびパラメトリックな共形の4つの手法について、カバレッジ、効率性、ロバストネスを分析する。

実験結果

リサーチクエスチョン

• RQ1 パラメトリックな共形予測手法は、連続的アウトカムを持つGLMsに対して有限標本の妥当性を達成できるか？
• RQ2 モデルが誤指定されている場合と正しい仕様である場合の両方において、パラメトリックな共形予測領域の収束速度は何か？
• RQ3 非パラメトリックおよび残差に基づく代替手法と比較して、パラメトリックな共形手法のカバレッジと効率性はどのように異なるか？
• RQ4 確率積分変換は周辺的妥当性と漸近的最小性を確保するために果たす役割は何か？
• RQ5 適合度測度の選択（例：GLM密度）は、予測領域長とロバストネスにどのように影響を与えるか？

主な発見

• ビニングに基づく手法は、有限標本における局所的妥当性を達成し、予測子次元$d = 1$または$2$の場合、収束速度が$\sqrt{\log(n)/n}$のレートを達成する。$d > 2$の場合、収束速度は$O\{ (\log(n)/n)^{1/d} \}$のレートを達成する。
• 変換に基づく手法は、有限標本における周辺的妥当性を保証し、漸近的最小性を$\sqrt{\log(n)/n}$のレートで達成する。
• MLEに対する新しい濃度不等式は、両手法の収束速度を裏付け、理論的妥当性を支える。
• シミュレーションの結果、パラメトリックな共形手法は、特にモデルが誤指定されている場合、標準的な漸近的予測領域よりもカバレッジと効率性が優れている。
• GLM密度を適合度測度として用いたパラメトリックな共形手法は、モデルが正しく指定されている場合、最も短い予測区間を達成する。
• グリコヘモグロビン値予測への応用により、手法の実用的有用性と現実の医療文脈におけるロバストネスが確認された。