[論文レビュー] 'In-Between' Uncertainty in Bayesian Neural Networks

Andrew Y. K. Foong, Yingzhen Li+2 more|arXiv (Cornell University)|Jun 27, 2019

Gaussian Processes and Bayesian Inference参考文献 22被引用数 30

ひとこと要約

この論文は、ベイジアンニューラルネットワークにおける平均場変分推論（MFVI）の重要な限界を特定している：分離されたデータクラスタの間の領域—すなわち「間の」不確実性—において、良好なキャリブレーションされた不確実性推定を提供できないことである。これに対して、線形化ラプラス近似は、特に小規模なネットワークにおいて、このような分布外領域での不確実性キャリブレーションを著しく改善しており、標準ベンチマークでも高い性能を維持している。

ABSTRACT

We describe a limitation in the expressiveness of the predictive uncertainty estimate given by mean-field variational inference (MFVI), a popular approximate inference method for Bayesian neural networks. In particular, MFVI fails to give calibrated uncertainty estimates in between separated regions of observations. This can lead to catastrophically overconfident predictions when testing on out-of-distribution data. Avoiding such overconfidence is critical for active learning, Bayesian optimisation and out-of-distribution robustness. We instead find that a classical technique, the linearised Laplace approximation, can handle 'in-between' uncertainty much better for small network architectures.

研究の動機と目的

• ベイジアンニューラルネットワークにおける平均場変分推論（MFVI）が信頼できる不確実性推定を提供する際の限界を調査すること。
• 異なる推論手法が分離されたデータクラスタの間の領域—すなわち「間の」不確実性—における不確実性をどの程度適切に扱えるかを評価すること。
• MFVIがこのような領域で著しく過信した予測を示すため、アクティブラーニングやロバスト意思決定への応用が損なわれる可能性があることの実証。
• 古典的な線形化ラプラス近似が、特に小規模なネットワークアーキテクチャにおいて、間の不確実性をよりよく捉えられることの示唆。
• 標準的な一般化タスクとは異なる、間の不確実性に特化した評価を可能にする、修正されたUCIベンチマークの導入。

提案手法

• 均一なサブサンプリングではなく、2つの分離されたデータクラスタの間の領域からテストセットを抽出する「ギャップスプリット」を用いた、新しい評価プロトコルを提案。
• ベイジアンニューラルネットワークにおける不確実性推定において、MFVI（平均場およびフルコホーレンス変種）と線形化ラプラス近似（LLA）、確率的ラプラス（SLA）を比較。
• ラプラス近似を用いて、MAP推定値を中心とするガウス事後分布を近似し、事後分布の共分散を対数事後分布のヘッシアンの逆行列の負の値から導出。
• ヘッシアンを効率的に計算するため、ガウス・ニュートン近似を用い、一次勾配のみを必要とし、半正定値性を保証。
• 主な指標としてホールドアウトされた対数尤度を用い、不正確さと過信の両方をペナルティとして評価。
• エネルギーおよび船舶のUCI回帰データセットに、特にMFVIがギャップスプリットで著しく失敗するため、特別な注目を払って適用。

実験結果

リサーチクエスチョン

• RQ1 平均場変分推論（MFVI）は、学習データの分離されたクラスタの間の領域で、良好にキャリブレーションされた不確実性推定を提供するか？
• RQ2 MFVIの「間の」不確実性における性能は、線形化ラプラス近似と比べてどの程度か？
• RQ3 標準的なUCIベンチマークは、クラスタ間の分布外領域における不確実性推定能力を適切に評価できるか？
• RQ4 MFVIがこれらの間の領域での不確実性をモデル化できない理由は何か？また、平均場近似に起因する構造的限界は何か？
• RQ5 線形化ラプラス近似は、ベイジアンニューラルネットワークにおける不確実性推定のための実用的でより頑健な代替手段となり得るか？

主な発見

• MFVIは標準的なUCIベンチマークでは良好に機能するが、ギャップスプリットでは著しく失敗し、データクラスタの間の領域で過信した予測を示す。
• 線形化ラプラス近似（LLA）はギャップスプリットにおいてMFVIを著しく上回り、顕著に高い対数尤度スコアを達成する—例：1HL tanhを用いた船舶データでは6.40±0.06（LLA）、MFVIでは-2.83±0.01。
• 標準的なUCIスプリットではMFVIとLLAの性能は同等であり、標準ベンチマークがMFVIの間の不確実性における失敗を露呈しないことを示している。
• MFVIの失敗は、最適化やアーキテクチャの悪さによるものではなく、パラメータ間の依存関係を捉えられず、データギャップの不確実性をモデル化できない平均場近似の本質的限界に起因する。
• フルコホーレンスVI（FCVI）はMFVIよりギャップスプリットで優れた性能を示すが、依然としてLLAに劣り、柔軟な変分族ですら間の不確実性を十分に扱えないことを示唆している。
• 線形化ラプラス近似は、間の領域で良好にキャリブレーションされた不確実性推定を提供するため、アクティブラーニングや分布外のロバストネスの文脈でより信頼できる選択肢である。