[論文レビュー] Conformal Prediction Under Covariate Shift

Ryan J. Tibshirani, Rina Foygel Barber+2 more|arXiv (Cornell University)|Apr 12, 2019

Gaussian Processes and Bayesian Inference参考文献 21被引用数 53

ひとこと要約

本論文は、重み付き非適合スコア分布を用いることで、共変量シフトに対する conformal prediction を拡張し、訓練データとテストデータの共変量が異なる場合でも、尤度比が既知または unlabeled data から推定可能なときに、分布に依存しない予測区間を可能にする。

ABSTRACT

We extend conformal prediction methodology beyond the case of exchangeable data. In particular, we show that a weighted version of conformal prediction can be used to compute distribution-free prediction intervals for problems in which the test and training covariate distributions differ, but the likelihood ratio between these two distributions is known---or, in practice, can be estimated accurately with access to a large set of unlabeled data (test covariate points). Our weighted extension of conformal prediction also applies more generally, to settings in which the data satisfies a certain weighted notion of exchangeability. We discuss other potential applications of our new conformal methodology, including latent variable and missing data problems.

研究の動機と目的

• 訓練とテストの共変量が異なる場合（covariate shift）に対して、分布に依存しない予測区間を動機づける。
• 尤度比の重みを用いて exchangeability に近い挙動を回復させる重み付き conformal prediction フレームワークを開発する。
• 重み付き exchangeability の下で理論的保証を提供し、実用的な手続き（重み付き split conformal を含む）を導出する。
• 実データ（airfoil dataset）で実証し、 unlabeled data からの重み推定について議論する。

提案手法

• 基礎回帰アルゴリズムとスコア関数を用いて非適合スコアを定義する。
• 重み w(X)=dP̃X/dPX を用いて非適合スコアの重み付き経験分布を導入する。
• 共変量シフトの下で、重み付き分位点ベースのカバレッジ保証（Corollary 1）を証明する。
• 計算効率のための重み付き split conformal prediction のバージョンを提示する。
• 未知の共変量シフトを扱うために、ラベル付き/ラベルなしデータから分類器を用いて重み w(x) を推定する方法を示す（eqs. (7)-(12)）。
• 交換可能性の一般化としての重み付き exchangeability について議論し、補足定理（Lemmas 2-3）を提供する。

実験結果

リサーチクエスチョン

• RQ1 共変量シフト下で、訓練データとテストデータの共変量分布が異なる場合に、 conformal prediction は分布に依存しない予測区間を提供できるか。
• RQ2 非適合スコアをどのように重み付けして共変量シフトを反映し、exchangeability に似た挙動を回復できるか。
• RQ3 unlabeled data からテスト分布と訓練分布の尤度比を実務的に推定する方法は何か。
• RQ4 共変量シフトに対する重み付け手法と非重み付け手法のカバレージと区間長に与える実証的影響はどうか。
• RQ5 提案する重み付け手法は効率的に実装可能か（split conformal を通じて）し、重み付き exchangeability へ拡張可能か。

主な発見

• Ordinary split conformal prediction under covariate shift undercovers when test covariates are nonuniformly shifted.
• Weighted split conformal with oracle weights recovers nominal coverage (≈90%) under covariate shift, with slightly longer intervals due to effective sample size.
• Weighted conformal intervals with estimated weights (logistic regression or random forests) achieve near-nominal coverage (around 91%).
• The effective sample size under weighting can be characterized by a formula based on weights, explaining variability in coverage.
• Estimating the likelihood ratio w(x) from labeled/unlabeled data enables practical application of weighted conformal prediction under covariate shift.
• The framework extends to weighted exchangeability beyond covariate shift, with general theoretical guarantees.