[論文レビュー] PIVEN: A Deep Neural Network for Prediction Intervals with Specific Value Prediction

Eli Simhayev, Gilad Katz+1 more|arXiv (Cornell University)|Jun 9, 2020

Anomaly Detection Techniques and Applications参考文献 35被引用数 12

ひとこと要約

PIVENは、予測区間（PI）と特定値の予測を同時に最適化する深層ニューラルネットワークであり、値の予測をPIの境界の関数として学習可能にすることで、モデルの複雑さを増さずに予測値が区間内に収まるように保証する。最新の手法よりもタイトなPIを達成しながら、競争力のある値の予測精度を維持し、現代のCNNを用いた大規模な画像データセットに対しても有効である。

ABSTRACT

Improving the robustness of neural nets in regression tasks is key to their application in multiple domains. Deep learning-based approaches aim to achieve this goal either by improving their prediction of specific values (i.e., point prediction), or by producing prediction intervals (PIs) that quantify uncertainty. We present PIVEN, a deep neural network for producing both a PI and a value prediction. Our loss function expresses the value prediction as a function of the upper and lower bounds, thus ensuring that it falls within the interval without increasing model complexity. Moreover, our approach makes no assumptions regarding data distribution within the PI, making its value prediction more effective for various real-world problems. Experiments and ablation tests on known benchmarks show that our approach produces tighter uncertainty bounds than the current state-of-the-art approaches for producing PIs, while maintaining comparable performance to the state-of-the-art approach for value-prediction. Additionally, we go beyond previous work and include large image datasets in our evaluation, where PIVEN is combined with modern neural nets.

研究の動機と目的

• 既存手法が予測区間（PI）の最適化と点予測の最適化を同時にしないという限界に対処すること。
• モデルの複雑さを増さずに、予測値が予測されたPI内に収まるように保証すること。
• PI内でのデータの分布的仮定を回避することで、多様な現実世界の回帰タスクにおけるロバスト性を高めること。
• 標準ベンチマークおよび大規模な画像データセット上で手法を評価し、現代のアーキテクチャにおける汎用性を示すこと。
• PIの幅と値の予測精度を同時に最適化する統合的でエンドツーエンドの学習アプローチを提供すること。

提案手法

• PIVENは、PIの上限と下限を予測する出力ヘッドと、特定の値を予測する出力ヘッドを備えた単一の深層ニューラルネットワークを用いる。
• 値の予測をPIの境界の関数としてモデル化することで、常に区間内に予測値が収まるように保証し、予測の整合性を確保する。
• 損失関数は、PI生成のための分位数ベースの損失と、値の予測のための回帰損失を組み合わせており、PIのタイトさと予測精度のトレードオフを調整するハイパーパrameter β を含む。
• 追加のハイパーパrameter λ により、予測区間カバレッジ（PICP）と幅（MPIW）のトレードオフを制御でき、カバレッジと精度のバランスを調整可能である。
• 事後最適化やアンサンブル手法を必要とせず、確率的勾配降下法（SGD）を用いてエンドツーエンドで学習する。
• 手法は表形式の回帰データセットで評価され、現代の畳み込みアーキテクチャを用いて画像データへも拡張されている。

実験結果

リサーチクエスチョン

• RQ1 モデルの複雑さを増さずに、タイトな予測区間と正確な点予測を同時に最適化できる深層ニューラルネットワークは存在するか？
• RQ2 PIの境界の関数として値の予測をモデル化することで、独立または中央値ベースのアプローチと比較して、予測の整合性と性能が向上するか？
• RQ3 現代の畳み込みネットワークと組み合わせた場合、PIVENは大規模な画像データセットでどのように性能を発揮するか？
• RQ4 最新のPI専用手法よりも優れた予測区間幅を達成しながら、競争力のある値の予測精度を維持できるか？
• RQ5 ハイパーパrameter β と λ が、PIのタイトさ、カバレッジ、値の予測精度のトレードオフに与える影響は何か？

主な発見

• PIVENはQDおよびQD-Plusよりも顕著にタイトな予測区間を生成し、ボストンデータセットではMPIWの平均が1.09であり、QD-Plusの1.15を下回った。
• PIVENはディープアンサンブル（DE）と同等の値の予測性能を達成し、ボストンデータセットではRMSEが3.13で、DEの3.21を上回った。
• エネルギーデータセットでは、RMSEを1.65に低下させながらMPIWを0.42に維持し、両方の指標でQD-Plusを上回った。
• アブレーションスタディの結果、PI幅と値の予測の同時最適化、および関数ベースの値の予測が、PIVENの優れた性能に寄与していることが示された。
• PIVENは大規模な画像データセットにも効果的に一般化され、MSDデータセットではMPIWが2.42、RMSEが8.93を達成し、現代のCNNと併用した場合のスケーラビリティを示した。
• ハイパーパラメータ分析により、β = 0.5 がPIのタイトさと値の予測精度のバランスを最適に保つことが確認され、λ はカバレッジと幅のトレードオフを効果的に制御できた。