[論文レビュー] Conformalized Quantile Regression

Yaniv Romano, Evan Patterson+1 more|arXiv (Cornell University)|May 8, 2019

Statistical Methods and Inference参考文献 25被引用数 51

ひとこと要約

CQRは適合予測を分位回帰と組み合わせ、有限サンプル・分布に依存しない予測区間を作成し、ヘテロセダスティシティに適応し、通常は競合する適合法より短くなる。

ABSTRACT

Conformal prediction is a technique for constructing prediction intervals that attain valid coverage in finite samples, without making distributional assumptions. Despite this appeal, existing conformal methods can be unnecessarily conservative because they form intervals of constant or weakly varying length across the input space. In this paper we propose a new method that is fully adaptive to heteroscedasticity. It combines conformal prediction with classical quantile regression, inheriting the advantages of both. We establish a theoretical guarantee of valid coverage, supplemented by extensive experiments on popular regression datasets. We compare the efficiency of conformalized quantile regression to other conformal methods, showing that our method tends to produce shorter intervals.

研究の動機と目的

• 強い分布仮定を置かずに回帰における信頼できる不確実性の定量化を動機づける。
• 局所的な変動性に適応しつつ有限サンプル・分布に依存しない被覆を提供する方法を開発する。
• 任意の分位回帰アルゴリズムを包み込み、適合化された予測区間を生成する。
• 既存の適合法よりも効率の改善を理論的保証と実証的証拠で提供する。

提案手法

• 適切な訓練セットと較正セットを用いたスプリット適合予測を用いる。
• 適切な訓練セット上で2つの条件付き分位関数を適合させ、下限と上限を取得する。
• プラグイン区間に基づく適合度スコアを計算し、これらのスコアの経験的分位数で較正する。
• 較正された適合分位に基づく適合分位でプラグイン分位を調整して最終区間を構築する（Eベース）。
• 有限サンプル被覆を証明: 交換可能性の下で P{Y_{n+1} in C(X_{n+1})} ≥ 1 - α。
• 平均回帰の代わりに分位回帰を用いることでヘテロセダスティシティへの適応性を示す。
• 実用的配慮として拡張: ハイパーパラメータ調整、2次元の分位出力、非対称適合化の可能性。

実験結果

リサーチクエスチョン

• RQ1 基本区間を構成するために分位回帰を用いるとき、適合予測の保証を保持できるか。
• RQ2 データセット全体で有限サンプル被覆を維持しつつ、分位区間が平均長さを短く達成するか。
• RQ3 区間長と被覆の観点で、CQRは標準のスプリット適合予測および局所適応適合予測とどう比較されるか。
• RQ4 CQRは様々な分位回帰のバックボーン（例: ランダムフォレスト、ニューラルネットワーク）を包み実用的で効率的な予測区間を生み出せるか。

主な発見

方法	平均長さ	平均被覆率
Ridge	3.06	90.03
Ridge Local	2.94	90.13
Random Forests	2.24	89.99
Random Forests Local	1.82	89.95
Neural Net	2.16	89.92
Neural Net Local	1.81	89.95
CQR Random Forests	1.41	90.33
CQR Neural Net	1.40	90.05
Quantile Random Forests	2.23	92.62
Quantile Neural Net	1.49	88.51

• CQRは11データセットに渡って、標準的および局所適応の適合予測より平均予測区間を短くする。
• 実験では全ての適合ベースの手法が名目被覆率90%を維持する一方、適合化されていないベースラインは被覆にばらつきを示す。
• 平均的には、ランダムフォレストとニューラルネットを用いたCQRは顕著に短い区間を達成（例: CQR RF 1.41、CQR NN 1.40 の平均長さ）、ほぼ名目被覆率（約90%）を達成。
• 適合化なしの分位ベースのベースラインは調整次第で過小または過大被覆となり得ることから、有限サンプル保証の価値を浮き彫りにする。
• 2つの変種（対称 vs 非対称の適合化）は区間長に影響し、非対称はしばしば長さをわずかに増加させるが裾部分の保証を改善する。
• 本手法は異なる分位回帰のバックボーン（例: 分位フォレスト、分位ニューラルネットワーク）にも柔軟で、被覆保証を維持する。