[論文レビュー] Deep Evidential Learning for Bayesian Quantile Regression

Frederik Boe Hüttel, Filipe Rodrigues+1 more|arXiv (Cornell University)|Aug 21, 2023

Gaussian Processes and Bayesian Inference被引用数 4

ひとこと要約

本稿では、ガウスノイズを仮定せずに、1回の順方向伝搬でアンビエント不確実性とエピステム的不確実性の両方を推定する、証拠学習を用いた深層ベイジアン分位数回帰モデルを提案する。分位数を直接予測することで、非ガウス分布の不確実性モデリングが可能となり、補正された不確実性推定と分布外データに対するロバストネスを達成する。

ABSTRACT

It is desirable to have accurate uncertainty estimation from a single deterministic forward-pass model, as traditional methods for uncertainty quantification are computationally expensive. However, this is difficult because single forward-pass models do not sample weights during inference and often make assumptions about the target distribution, such as assuming it is Gaussian. This can be restrictive in regression tasks, where the mean and standard deviation are inadequate to model the target distribution accurately. This paper proposes a deep Bayesian quantile regression model that can estimate the quantiles of a continuous target distribution without the Gaussian assumption. The proposed method is based on evidential learning, which allows the model to capture aleatoric and epistemic uncertainty with a single deterministic forward-pass model. This makes the method efficient and scalable to large models and datasets. We demonstrate that the proposed method achieves calibrated uncertainties on non-Gaussian distributions, disentanglement of aleatoric and epistemic uncertainty, and robustness to out-of-distribution samples.

研究の動機と目的

• 既存の証拠的回帰モデルがガウス分布のアンビエント不確実性を仮定しているという制限に対処し、複雑で非ガウスなノイズ分布のモデリング能力を制限していること。
• 平均と分散がターゲット分布の記述に不十分である回帰タスクにおける正確な不確実性評価を可能にすること。
• サンプリングや複数回の順方向伝搬を必要とせずに、アンビエント不確実性とエピステム的不確実性を分離する手法を開発すること。
• モンテカルロドロップアウトやディープアンサンブルなどの計算コストの高い推論手法を避けることで、大規模なモデルやデータセットにおけるスケーラビリティと効率性を確保すること。
• 現実世界および合成的な非ガウス分布データにおいて、分布外サンプルに対してロバストで、補正された性能を示すこと。

提案手法

• 分位数回帰におけるベイジアンアプローチを実現するため、非対称ラプラス分布に基づく尤度関数を定式化する。
• 尤度関数のパラメータにディリクレ事前分布を適用することで、証拠学習を適用し、ネットワークが分位数パラメータの証拠を出力できるようにする。
• 深層ニューラルネットワークを訓練して、証拠分布のパラメータ（つまり、分位数の証拠）を予測させ、閉形式式による不確実性推定を可能にする。
• 補正された分位数予測を保証するため、訓練目的として適切なスコアルール（例：分位数損失）を用いる。
• 1回の順方向伝搬で、分位数予測によるアンビエント不確実性と証拠強度によるエピステム的不確実性を分離する。
• 証拠フレームワークを活用し、証拠濃度関数としてエピステム的不確実性を推定することで、サンプリングやアンサンブル手法を回避する。

実験結果

リサーチクエスチョン

• RQ1 分位数を予測することで、平均と分散ではなく、非ガウスなアンビエント不確実性をモデリングできるように、証拠学習を拡張できるか？
• RQ2 推論時にサンプリングを必要とせず、非ガウスなノイズ分布において補正された不確実性推定を達成できるか？
• RQ3 分布シフト下でも、1回の順方向伝搬でアンビエント不確実性とエピステム的不確実性を効果的に分離できるか？
• RQ4 実世界の回帰タスクにおいて、最先端のベイジアンニューラルネットワーク手法と比較して、性能と効率性に優れているか？
• RQ5 証拠的分位数回帰は、不確実性推定を用いて、分布外サンプルをどの程度効果的に検出できるか？

主な発見

• 本モデルは、指数分布や非対称ノイズなどの非ガウス分布において、補正された予測区間を達成し、平均・分散ベースの証拠的モデルを上回る性能を示した。
• 本手法は、アンビエント不確実性とエピステム的不確実性を成功裏に分離しており、分布境界や分布外領域に近づくとエピステム的不確実性が増加する。
• 本モデルは、分布外サンプルに対してロバストであり、そのような入力に対してエピステム的不確実性が信頼性を持って増加する。
• ApplloScapeデータセットでの実験を通じて、大規模なコンピュータビジョンタスクへのスケーラビリティが確認され、証拠的不確実性が物体の境界を的確に捉えている。
• 予測精度ではベースラインを上回らなかったが、1回の順方向伝搬による推論コストの大幅な削減により、競争力のある性能を達成した。
• ガウス分布に基づく証拠的回帰と比較して、本手法の不確実性推定はより柔軟であり、分布の仮定を必要とせず、非対称的かつ重尾分布をモデリング可能である。