[論文レビュー] Learning under Model Misspecification: Applications to Variational and Ensemble methods

Andrés R. Masegosa|arXiv (Cornell University)|Dec 18, 2019

Gaussian Processes and Bayesian Inference参考文献 54被引用数 16

ひとこと要約

本稿では、モデルの不適合下でのベイジアンモデル平均が最適でない一般化を示す、新しい2次元PAC-Bayesフレームワークを導入する。よりタイトなPAC-Bayesバウンドを最小化することで、著者らは予測性能が著しく向上した非ベイジアン後確率を導出し、ベイジアンニューラルネットワークおよび実世界のデータセット上で検証された、新しい変分法およびアンサンブル手法を導出する。

ABSTRACT

Virtually any model we use in machine learning to make predictions does not perfectly represent reality. So, most of the learning happens under model misspecification. In this work, we present a novel analysis of the generalization performance of Bayesian model averaging under model misspecification and i.i.d. data using a new family of second-order PAC-Bayes bounds. This analysis shows, in simple and intuitive terms, that Bayesian model averaging provides suboptimal generalization performance when the model is misspecified. In consequence, we provide strong theoretical arguments showing that Bayesian methods are not optimal for learning predictive models, unless the model class is perfectly specified. Using novel second-order PAC-Bayes bounds, we derive a new family of Bayesian-like algorithms, which can be implemented as variational and ensemble methods. The output of these algorithms is a new posterior distribution, different from the Bayesian posterior, which induces a posterior predictive distribution with better generalization performance. Experiments with Bayesian neural networks illustrate these findings.

研究の動機と目的

• モデル不適合下でのベイジアンモデル平均の一般化性能を分析すること。
• モデルが不適合である場合に、なぜベイジアン手法が予測タスクで性能を発揮しないのかを特定すること。
• よりタイトなPAC-Bayesバウンドを用いて、一般化性能が優れたベイジアンに類似したアルゴリズムの新規族を開発すること。
• 提案手法のスケーラブルな変分法およびアンサンブル実装を設計すること。
• ベイジアンニューラルネットワークおよび標準ベンチマーク上での、向上した予測性能を実証的に検証すること。

提案手法

• モデル不適合下で1次元バウンドよりもタイトな、新しい2次元PAC-Bayesバウンドの族を導出する。
• これらの2次元バウンドを最小化することで、標準ベイジアン後確率とは異なる新しい後確率分布を導出する。
• 得られた学習アルゴリズムを、モデル不適合の補正項を組み込んだ修正された損失関数を有する一般化された変分推論手法として定式化する。
• 提案手法を変分推論およびアンサンブル学習アルゴリズムとして実装し、予測分布の推定にモンテカルロサンプリングを用いる。
• ベイジアン原理と整合性を保つために、バウンドで定数 $ c = 1 $ を使用するが、$ c $ の最適化は将来的な改善の可能性として挙げられている。
• 提案手法をベイジアンニューラルネットワークに適用し、Fashion-MNIST や CIFAR-10 などの標準データセットを用いて、教師ありおよび自己教師ありタスクで評価する。

実験結果

リサーチクエスチョン

• RQ1 なぜモデルが不適合である場合に、ベイジアンモデル平均は一般化がうまくいかないのか？
• RQ2 よりタイトなPAC-Bayesバウンドは、モデル不適合下でのベイジアンに類似した学習において一般化性能の向上をもたらすのか？
• RQ3 標準ベイジアン後確率と提案された後確率との構造的差異は何か？ そして、それは予測性能にどのように影響するか？
• RQ4 提案された変分法およびアンサンブル手法は、標準ベイジアン推論およびMAPと比較して、予測対数尤度の観点でどのように異なるか？
• RQ5 提案手法は、ベイジアンニューラルネットワークのような深層学習モデルにスケーラブルかつ効果的に適用可能か？

主な発見

• ベイジアン後確率は1次元PAC-Bayesバウンドを最小化するが、モデル不適合下ではこのバウンドが緩くなり、最適でない一般化に繋がる。
• 提案された2次元PAC-Bayesバウンドはよりタイトで、一般化性能を向上させる新しい後確率を導出する。
• Fashion-MNISTでは、PAC²ₜ-Variational法が自己教師あり通常タスクでテスト予測対数尤度 -3.9668e+09 を達成し、ベイジアン変分法を上回った。
• CIFAR-10では、PAC²ₜ-Ensemble法が自己教師あり通常タスクでテスト尤度 -4.8795e+09 を達成し、ベイジアンアンサンブルを著しく上回った。
• PAC²ₜ-Variational法は、Fashion-MNISTの教師ありタスクでテスト尤度 -3558.94 を達成し、MAPベースラインの -4237.11 を上回った。
• 提案手法は切片パラメータの分散を高めるよう誘導し、データノイズをよりよく捉えるよりロバストな予測分布を生成する。これは図1に図示されている。