[論文レビュー] Prediction Intervals: Split Normal Mixture from Quality-Driven Deep Ensembles

Tárik S. Salem, Helge Langseth+1 more|arXiv (Cornell University)|Jul 19, 2020

Machine Learning and Data Classification参考文献 18被引用数 8

ひとこと要約

本稿では、トレーニングの安定性を高めるためのペナルティ関数を備えたマルチオブジェクティブ損失関数を用い、点推定値と予測区間を同時に予測する品質駆動型ディープアンサンブル手法QD+を提案する。アンサンブル出力をスプリットノーマル混合モデルで集約することで、アレアトリックおよびエピステミックな不確実性を捉え、キャリブレーションが高く、非対称な予測区間が得られ、解析的パラメータ初期化により収束が速く、より高いロバストネスを実現する。

ABSTRACT

Prediction intervals are a machine- and human-interpretable way to represent predictive uncertainty in a regression analysis. In this paper, we present a method for generating prediction intervals along with point estimates from an ensemble of neural networks. We propose a multi-objective loss function fusing quality measures related to prediction intervals and point estimates, and a penalty function, which enforces semantic integrity of the results and stabilizes the training process of the neural networks. The ensembled prediction intervals are aggregated as a split normal mixture accounting for possible multimodality and asymmetricity of the posterior predictive distribution, and resulting in prediction intervals that capture aleatoric and epistemic uncertainty. Our results show that both our quality-driven loss function and our aggregation method contribute to well-calibrated prediction intervals and point estimates.

研究の動機と目的

• 既存の品質駆動型ディープアンサンブル手法では予測区間の生成に点推定値が含まれないという問題に対処すること。
• 予測区間の重複を防ぎ、予測の意味的整合性を保つために、点推定値が予測区間外に位置しないように制約するペナルティ関数を導入することで、トレーニングの安定性を向上させること。
• スプリットノーマル混合モデルを用いた理論的裏付けのあるアンサンブル予測区間の集約手法を開発すること。
• スプリットノーマル分布のパラメータを解析的に初期化することで、分布フィッティングの収束を加速させ、成功率を向上させること。
• 再現可能でハイパーパrameterガイド付きのトレーニングを提供し、非ベイジアンアプローチを深層学習における不確実性評価に拡張すること。

提案手法

• 平均二乗誤差（MSE）による点推定値と、品質駆動型損失による予測区間を組み合わせたマルチオブジェクティブ損失関数を用い、同時に最適化可能である。
• 点推定値が予測区間の境界外に位置しないこと、および区間の重複を避けることで意味的整合性を保つために、ペナルティ関数を導入する。
• アンサンブルされた予測区間はスプリットノーマル混合分布を用いて集約され、非対称的かつマルチモーダルな事後予測分布をモデル化する。
• スプリットノーマル分布のパラメータに対して、収束性と成功率を向上させるための解析的初期化手法を提案する。
• ニューラルネットワークにはPyTorch、分布フィッティングにはJAXを用い、Sacredを用いて完全な再現性を確保する。
• 信頼性の高いモデルトレーニングと比較を支援するため、ハイパーパrameterサーチのガイドラインとアブレーションスタディを提供する。

実験結果

リサーチクエスチョン

• RQ1 1つのディープラーニングモデルが、正確な点推定値とキャリブレーションが取れた予測区間を同時に生成できるか？
• RQ2 損失関数にペナルティ関数を組み込むことで、トレーニングの安定性が著しく向上し、予測の意味的不整合が防止されるか？
• RQ3 スプリットノーマル混合モデルは、従来手法と比較してより正確で理論的裏付けのあるアンサンブル予測区間の集約を可能にするか？
• RQ4 スプリットノーマル分布のパラメータを解析的に初期化することで、ランダム初期化に比べてフィッティングが高速かつ信頼性が高くなるか？
• RQ5 提案手法の改善は、最新の品質駆動型ディープアンサンブル手法と比較して、キャリブレーションとロバストネスの面で優れているか？

主な発見

• QD+は、ベースライン手法と比較して、より良いカバレッジと狭い区間幅を実現するキャリブレーションが取れた予測区間を達成した。
• ペナルティ関数の追加により、プロテインデータセットのような困難な設定において、元のQDが1回の実行あたり約1回の再試行を要していたのに対し、再試行の必要がなくなり、トレーニングの安定性が向上した。
• スプリットノーマル分布のパラメータを解析的に初期化することで、ランダム初期化に比べてフィッティングの成功確率が向上し、収束時間も短縮された。
• アブレーションスタディにより、ペナルティ関数が意味的整合性の維持とトレーニングの安定化に不可欠であることが確認された。
• 柔軟なスプリットノーマル混合表現により、アレアトリックおよびエピステミックな不確実性を効果的に捉えることができた。
• 実装は完全に再現可能であり、詳細なハイパーパrameterガイドラインとGitHub上のオープンソースコードが提供されている。