[論文レビュー] Tight Prediction Intervals Using Expanded Interval Minimization

Dongqi Su, Ying Yin Ting+1 more|arXiv (Cornell University)|Jun 28, 2018

Neural Networks and Applications参考文献 11被引用数 17

ひとこと要約

本稿では、誤差分布の対称性を仮定せずに、カバレッジ制約付きのタイトな予測区間を直接予測する新しいニューラルネットワーク損失関数である拡張区間最小化（EIM）を紹介する。ミニバッチ内で境界をスケーリングしてターゲットカバレッジを満たし、幅を最小化することで、2つの実世界データセットにおいて、従来手法より平均で1.37倍タイトな区間を達成した。特に低カバレッジ水準では、MLE、アンサンブル、分位数回帰手法を凌駕した。

ABSTRACT

Prediction intervals are a valuable way of quantifying uncertainty in regression problems. Good prediction intervals should be both correct, containing the actual value between the lower and upper bound at least a target percentage of the time; and tight, having a small mean width of the bounds. Many prior techniques for generating prediction intervals make assumptions on the distribution of error, which causes them to work poorly for problems with asymmetric distributions. This paper presents Expanded Interval Minimization (EIM), a novel loss function for generating prediction intervals using neural networks. This loss function uses minibatch statistics to estimate the coverage and optimize the width of the prediction intervals. It does not make the same assumptions on the distributions of data and error as prior work. We compare to three published techniques and show EIM produces on average 1.37x tighter prediction intervals and in the worst case 1.06x tighter intervals across two large real-world datasets and varying coverage levels.

研究の動機と目的

• 既存の予測区間手法が誤差分布の対称性を仮定しているという限界に対処し、実世界の非対称データでは性能が劣ることを改善すること。
• ガウスノイズなどの分布仮定に依存せずに、正しいカバレッジを維持しながらよりタイトな予測区間を生成する手法を開発すること。
• 平均を中心に対称的な境界を強制するのではなく、データ密度に応じて柔軟に個別に適合する予測区間分位点を可能にすること。
• アンサンブル手法と比較して訓練の複雑性を低減しつつ、既存のニューラルネットワークベース手法を上回る区間のタイトさを実現すること。

提案手法

• EIMは、平均と分散の別々のモデルを必要とせず、単一のニューラルネットワークで直接下限と上限の予測境界を出力する。
• 損失関数はまず、ミニバッチ内の予測境界を、実データの経験的分位点を用いてターゲットカバレッジ（例：90%）を満たすようにスケーリングする。
• カバレッジを満たした後、スケーリングされた境界の幅を最小化することで、タイトさを最適化しつつ正しさを保持する。
• ミニバッチ統計を用いてカバレッジを推定するため、分布に依存せず非対称データにも適している。
• 最大尤度推定やアンサンブル手法とは異なり、モデルとノイズ分散成分が独立であると仮定せず、複数のモデルを必要としない。
• 個々のサンプルごとに異なる予測区間分位点を許容するため、より柔軟でデータ駆動の区間形状が可能になる。

実験結果

リサーチクエスチョン

• RQ1 ニューラルネットワークベースの手法が、誤差分布の対称性を仮定せずに、従来手法よりタイトな予測区間を生成できるか？
• RQ2 EIMの性能は、さまざまなカバレッジ水準と実世界データセットにおいて、MLE、アンサンブル、分位数回帰と比較してどうなるか？
• RQ3 EIMがデータ密度に応じて境界を適応的に変更できる能力が、特に非対称分布においてよりタイトな区間をもたらすか？
• RQ4 EIMの訓練の複雑性と推論効率は、アンサンブルおよび分位数回帰手法と比較してどうなるか？

主な発見

• EIMは、2つの大規模な実世界データセットおよびさまざまなカバレッジ水準において、次に優れた手法よりも平均で1.37倍タイトな予測区間を生成した。
• 70%のカバレッジターゲットでは、EIMは次に優れた技術よりも1.26倍タイトな区間を達成し、90%カバレッジでは1.06倍にまで改善した。
• EIMと他の手法との性能差は、特に低いカバレッジターゲット（例：70%）で最大となり、EIMは区間形状の柔軟性を最大限に活用している。
• EIMの予測分布は、平均から均等に拡張する対称的手法とは異なり、データの高密度領域に寄り添った歪みを持つ。
• EIMは、2つのハイパーパrameterの網羅的グリッドサーチを必要とする分位数回帰でさえも上回った。EIMはこのグリッドサーチを回避している。
• EIMは、1つのニューラルネットワークのみを必要とする最も高速でシンプルな手法であり、アンサンブル手法は200のモデルをトレーニングする必要があり、はるかに複雑である。