[論文レビュー] Adaptive, Distribution-Free Prediction Intervals for Deep Networks

Danijel Kivaranovic, Kory D. Johnson+1 more|arXiv (Cornell University)|May 25, 2019

Machine Learning and Data Classification参考文献 28被引用数 25

ひとこと要約

この論文は、修正された分位数回帰損失関数を用いて、点推定値と予測区間の3つの値を出力する新しいニューラルネットワークフレームワークを提案する。有限標本カバレッジ保証を備えた2つの手法を導入する：平均カバレッジを達成するための補正推定（conformal inference）を用いた手法と、条件付きカバレッジに対して新しいおそらく近似的に有効（PAV）保証を備えた手法であり、両者とも予測精度を損なわない。

ABSTRACT

The machine learning literature contains several constructions for prediction intervals that are intuitively reasonable but ultimately ad-hoc in that they do not come with provable performance guarantees. We present methods from the statistics literature that can be used efficiently with neural networks under minimal assumptions with guaranteed performance. We propose a neural network that outputs three values instead of a single point estimate and optimizes a loss function motivated by the standard quantile regression loss. We provide two prediction interval methods with finite sample coverage guarantees solely under the assumption that the observations are independent and identically distributed. The first method leverages the conformal inference framework and provides average coverage. The second method provides a new, stronger guarantee by conditioning on the observed data. Lastly, our loss function does not compromise the predictive accuracy of the network like other prediction interval methods. We demonstrate the ease of use of our procedures as well as its improvements over other methods on both simulated and real data. As most deep networks can easily be modified by our method to output predictions with valid prediction intervals, its use should become standard practice, much like reporting standard errors along with mean estimates.

研究の動機と目的

• 深層ニューラルネットワークにおける不確実性の定量化の欠如、特に予測区間に関して。
• 保証されたカバレッジを欠如する既存手法、強い分布仮定に依存する手法、または予測精度を低下させる手法の限界を克服すること。
• 最小限の仮定で、点推定値と有効な予測区間を出力するニューラルネットワークアーキテクチャの開発。
• パラメトリック仮定を必要とせず、複雑な最適化を伴わず、i.i.d.サンプリング下で有限標本カバレッジ保証を提供すること。
• 提案手法が予測精度を維持しながら、最先端の手法と比較して区間のキャリブレーションと長さを改善することを示すこと。

提案手法

• 修正された分位数回帰損失関数を用いて、深層ニューラルネットワークを、点推定値と2つの分位数（例：0.1 と 0.9）の3つの値を出力するように訓練する。
• サンプル分割を適用：1つのサブセットでネットワークを訓練し、別のサブセットで予測区間をキャリブレートする。
• ニューラルネットワーク固有の適合度スコアを用いた補正推定を用いて、平均カバレッジ保証を達成する。
• 観測されたデータに条件づける新しいおそらく近似的に有効（PAV）カバレッジ基準を導入し、より強い有限標本有効性を提供する。
• ネットワークが予測精度を維持しながら有効な区間を生成できるように、損失関数を最適化する。
• 表形式、画像、時系列データを含む多様なデータセットで同じネットワークアーキテクチャを用いることで、汎用性を示す。

実験結果

リサーチクエスチョン

• RQ1 最小限の仮定の下で、有限標本カバレッジ保証を備えた予測区間を出力できるように、深層ニューラルネットワークを変更できるか？
• RQ2 有効な予測区間を生成しながら、ネットワークの予測精度をどのように維持できるか？
• RQ3 観測されたデータに条件づけることで、平均カバレッジよりも強いカバレッジ保証を達成できるか？
• RQ4 提案手法は、ベイジアンニューラルネットワークや分位数回帰ベースラインと比較して、区間長とカバレッジにおいてどのように異なるか？
• RQ5 この手法は、表形式、画像、時系列データを含むさまざまなデータタイプにどの程度一般化できるか？

主な発見

• 理論的に保証されているように、提案手法の conf-nn および pav は、すべてのデータセットと繰り返しにおいて、名目水準（1−α）でほぼ正確な平均カバレッジを達成する。
• pav 法は観測されたデータに条件づけることで、より強いカバレッジ保証を提供するが、若干の保守的区間が生じる。
• 補正なしの分位数回帰ベースライン（qreg-un）は適切なカバレッジに到達できず、サンプル分割によるキャリブレーションの必要性を確認する。
• ベイジアン手法（bayes）は、Bike Share および交通データセットにおいて、conf-nn や pav よりも著しく長い区間を生成し、一部のケースでは長さが2〜3倍にのぼる。
• conf-nn および pav は、すべての有効な手法の中で平均区間長が最も短く、過剰に保守的な手法（例：high-q や neg-ll）を上回る。
• 提案された損失関数は予測精度を損なわない。conf-nn および pav は、MAE を直接最小化する conf-fw と同等の平均絶対誤差（MAE）を達成する。