[論文レビュー] Deep Ensembles from a Bayesian Perspective

Lara Hoffmann, Clemens Elster|arXiv (Cornell University)|May 27, 2021

Gaussian Processes and Bayesian Inference参考文献 44被引用数 7

ひとこと要約

この論文は、下位の統計的モデルと事前分布の仮定を明示することで、深層アンサンブルを近似的ベイズ推論手法としてフレームワーク化する。トレーニングや性能に変更を加えずに、重みのデルタ分布をガウス近似に置き換えることで後処理を行うことで、データが少ない状況での認識的不確実性を顕著に向上させる。

ABSTRACT

Deep ensembles can be considered as the current state-of-the-art for uncertainty quantification in deep learning. While the approach was originally proposed as a non-Bayesian technique, arguments supporting its Bayesian footing have been put forward as well. We show that deep ensembles can be viewed as an approximate Bayesian method by specifying the corresponding assumptions. Our findings lead to an improved approximation which results in an enlarged epistemic part of the uncertainty. Numerical examples suggest that the improved approximation can lead to more reliable uncertainties. Analytical derivations ensure easy calculation of results.

研究の動機と目的

• 特定の統計的仮定の下で、深層アンサンブルを形式的に近似的ベイズ手法として確立すること。
• 重みの事後分布近似をデルタ分布を超えて改善することで、深層アンサンブルの不確実性定量化を向上させること。
• トレーニング手順や回帰関数を変更せずに、認識的不確実性を増加させる後処理手法を開発すること。
• 改善された近似が、特にデータが少ない状況でよりキャリブレーションされた不確実性推定をもたらすことを示すこと。

提案手法

• この手法は、深層アンサンブルを、ネットワーク重みの局所的最大事後確率（MAP）推定値を中心とするデルタ分布の混合とみなす。
• 真の事後分布をよりよく近似できるように、デルタ分布をガウス分布に置き換えることで、認識的不確実性のより正確な表現が可能になる。
• ガウス成分の分散は、変分推論を用いて、近似事後分布と真の事後分布との間のKullback-Leibler（KL）情報量を最小化することで決定される。
• エビデンス下界（ELBO）は、再トレーニングを避けるために後処理ステップで解析的に最大化される。
• 最終層の重みのみを確率的変数として扱うことで、事後分散の解析的計算が可能になる。
• このアプローチは、元の深層アンサンブルの回帰関数とトレーニングプロセスを保持し、軽量な後処理ステップとして改善を適用する。

実験結果

リサーチクエスチョン

• RQ1 特定の統計的仮定の下で、深層アンサンブルを形式的に近的ベイズ推論手法として解釈できるか？
• RQ2 ネットワーク重みに対してデルタ分布をガウス近似に置き換えると、深層アンサンブルにおける不確実性定量化にどのような影響を与えるか？
• RQ3 提案された後処理手法により、特にトレーニングデータが限られた状況で、より信頼性の高い認識的不確実性推定が得られるか？
• RQ4 どのような状況下で、改善された近似が古典的深層アンサンブルと比較して不確実性推定に顕著な変化をもたらすか？

主な発見

• 提案手法は、事後分布近似に有限分散成分を追加することで認識的不確実性を増加させ、より大きな認識的分散成分をもたらす。
• データが少ないQSAR水中毒性およびヨット水力学的データセットでは、認識的カバレッジが20.4％から22.8％に上昇したが、合計カバレッジは約95.3％で良好にキャリブレーションされたままだった。
• 豊富なデータを有するyear prediction MSDデータセットでは、改善は顕著ではなく、理論的予想通り、データ量が増加するにつれてガウス分散がゼロに収束することが一致した。
• 最初のデータセットでは、認識的分散とアレアトリック分散の比が0.093から0.094に上昇し、認識的不確実性の明確な上昇が示された。
• 再トレーニングや元のアンサンブルの変更なしに、後処理による解析的計算により、改善された不確実性推定が可能になった。
• 単一のネットワークに対しても、アンサンブルを単一の事後分布近似として扱うことで、任意のトレーニング済みネットワークにおける認識的不確実性推定が可能になる。