[論文レビュー] Conformal Prediction using Conditional Histograms

Matteo Sesia, Yaniv Romano|arXiv (Cornell University)|May 18, 2021

Statistical Methods and Inference参考文献 27被引用数 11

ひとこと要約

本稿では、ブラックボックス機械学習モデルを用いてヒストグラムによる密度推定を通じて条件付き密度を推定し、有限標本におけるマージナル被覆性と漸近的に有効な条件付き被覆性を満たす予測区間を構築する、Conformal Histogram Regression (CHR) を提案する。この手法は、ヒストグラムに基づく密度推定から導かれる適合性スコアを逆算することで、最短区間を適応的に選択し、モデルの一貫性のもとで最適な区間長を達成する。実験では、シミュレーションおよび実世界のデータにおいて、従来の最先端手法（例えば、適合化分位数回帰や分布的コピュラ予測）を上回る性能を示した。

ABSTRACT

This paper develops a conformal method to compute prediction intervals for non-parametric regression that can automatically adapt to skewed data. Leveraging black-box machine learning algorithms to estimate the conditional distribution of the outcome using histograms, it translates their output into the shortest prediction intervals with approximate conditional coverage. The resulting prediction intervals provably have marginal coverage in finite samples, while asymptotically achieving conditional coverage and optimal length if the black-box model is consistent. Numerical experiments with simulated and real data demonstrate improved performance compared to state-of-the-art alternatives, including conformalized quantile regression and other distributional conformal prediction approaches.

研究の動機と目的

• 非パラメトリック回帰における歪度のあるデータに対して、短くかつ有効な予測区間を生成する適合性推論手法を開発すること。
• モデルの一貫性のもとで、有限標本におけるマージナル被覆性と漸近的条件付き被覆性を保証すること。
• ヒストグラムに基づく密度推定を用いて、条件付き分布の形状に応じて区間長を適応的に調整することで、既存の適合性手法を改善すること。
• 理論的保証を維持しながら区間の鋭さを向上させる、実用的でブラックボックス互換性を持つフレームワークを提供すること。

提案手法

• 訓練データ上で学習されたブラックボックスモデルを用いて、X が与えられたもとでのYの条件付き密度をヒストグラムとして推定する。
• 推定された条件付き密度に基づいて、補正点の適合性スコアを計算し、各観測値がモデルのもとでどれほど一般的であるかを測定する。
• 予測区間は、適合性スコア関数を逆算することで構築され、テスト点を含む最も短い区間を特定する。この区間は近似的に条件付き被覆性を満たす。
• 区間長は、予測値の周囲で適切な割合の補正スコアをカバーする最小の範囲を特定することで決定される。
• モデル推定誤差を補正するため、データ駆動型の閾値 τ̂ を用いることで、有効なマージナル被覆性を保証する。
• 理論的にも根拠がある：有限標本におけるマージナル被覆性を保証し、ブラックボックスモデルが一貫している場合、漸近的に条件付き被覆性と最適な区間長を達成する。

実験結果

リサーチクエスチョン

• RQ1 歪度がありi.i.d.でないデータに対して、有限標本におけるマージナル被覆性と漸近的条件付き被覆性を維持しつつ、より短い予測区間を生成できる適合性推論手法を設計できるか？
• RQ2 ヒストグラムに基づく密度推定をどのように適合性推論に統合することで、条件付き分布の形状を適応的に捉えることができるか？
• RQ3 提案手法は、区間幅と条件付き被覆性の観点から、従来の適合化分位数回帰や分布的適合性推論手法を上回るか？
• RQ4 どのような条件下で、区間長に関して漸近的に最適性を達成するか？
• RQ5 ブラックボックス密度推定器におけるモデルの誤り指定や推定誤差に対して、この手法はどの程度頑健か？

主な発見

• 理論的に保証されているように、CHRはすべてのデータセットで正確に90％のマージナル被覆性を達成し、わずかなずれ（例：表S1では0.90(0.01)）を示した。
• meps19およびmeps20といった実世界のデータセットでは、CHRはCQR（28.1および30.1）とDCP（520.3および531.3）よりも狭い予測区間（19.1および20.5）を生成し、優れた区間の鋭さを示した。
• fb1およびfb2などの複数のデータセットにおいて、CHRはCQRおよびDCP-CQRよりも高い条件付き被覆性を達成したが、2つのFacebookデータセットではわずかに被覆不足となった。
• シミュレーションおよび実データにおいて、CHRは区間幅の観点で最先端の代替手法を上回りつつ、条件付き被覆性を維持または向上させた。
• 深層ニューラルネットワークやランダムフォレストを含むさまざまなベースモデルにおいて、CHRは一貫した性能向上を示し、区間長の改善が得られた。
• 歪度や重尾を持つ条件付き密度を含むさまざまなデータ分布においてもCHRの性能は安定しており、複雑なデータ形状への適応性が確認された。