[論文レビュー] The Bayesian Learning Rule

Mohammad Emtiyaz Khan, Håvard Rue|arXiv (Cornell University)|Jul 9, 2021

Gaussian Processes and Bayesian Inference参考文献 125被引用数 7

ひとこと要約

本論文は、ベイズ推論と自然勾配を用いた包括的フレームワークとしてのベイズ学習則を導入する。このフレームワークは、リッジ回帰やカルマンフィルタといった古典的手法から、確率的勾配降下法やAdamといった現代の深層学習手法に至るまで、広範な機械学習アルゴリズムを、単一のベイズ推論アルゴリズムの特定の例として一元的に導出する。指数型分布族による事後分布の近似と、自然勾配による最適化を用いることで、フレームワークは一般化され、改善され、新たなアルゴリズムの設計を可能にする。

ABSTRACT

We show that many machine-learning algorithms are specific instances of a single algorithm called the \emph{Bayesian learning rule}. The rule, derived from Bayesian principles, yields a wide-range of algorithms from fields such as optimization, deep learning, and graphical models. This includes classical algorithms such as ridge regression, Newton's method, and Kalman filter, as well as modern deep-learning algorithms such as stochastic-gradient descent, RMSprop, and Dropout. The key idea in deriving such algorithms is to approximate the posterior using candidate distributions estimated by using natural gradients. Different candidate distributions result in different algorithms and further approximations to natural gradients give rise to variants of those algorithms. Our work not only unifies, generalizes, and improves existing algorithms, but also helps us design new ones.

研究の動機と目的

• 最適化、深層学習、グラフィカルモデルにまたがる多様な機械学習アルゴリズムを、一貫したベイズ的枠組みの下に統合すること。
• 共通の変分ベイズ形式から導出することで、既存のアルゴリズムを一般化すること。
• ベイズ学習則における自然勾配近似を活用することで、アルゴリズム設計を改善すること。
• 事後分布の原理的近似を通じて、体系的な導出と新規学習アルゴリズムの創出を可能にすること。

提案手法

• 期待損失と事前分布へのKullback-Leibler発散の和を最小化する変分形式に基づき、一般化された事後分布を導出する。
• 近似事後分布のクラスとして指数型分布族を最適化し、自然パラメータと十分統計量でパrameter化する。
• 自然勾配を用いて近似事後分布のパラメータに対する効率的で安定かつ適応的な更新を計算する。
• 確率的最適化で用いられるような実用的バージョンの学習則を導出するために、自然勾配の近似を導入する。
• 更新式における2階微分の簡略化のため、DeltaおよびBonnetの定理による近似を用いる。
• フレームワークの特定の具体化により、代表的なアルゴリズムが得られる：例えばガウス近似はニュートン型手法を、ベルヌーイおよび混合モデルはドロップアウトやVAEをもたらす。

実験結果

リサーチクエスチョン

• RQ1 最適化、深層学習、グラフィカルモデルにまたがる多様な機械学習アルゴリズムを、単一のベイズ推論フレームワークが統合可能か？
• RQ2 ベイズフレームワーク内での自然勾配近似が、既存アルゴリズムの改善または一般化にどのように寄与するか？
• RQ3 ベイズ学習則がリッジ回帰やカルマンフィルタといった古典的手法を回復する条件は何か？
• RQ4 事後分布の原理的近似を通じて、新規学習アルゴリズムを体系的に拡張するにはどうすればよいか？
• RQ5 指数型分布族が、古典的および現代的学習アルゴリズムの統一的導出を可能にする役割は何か？

主な発見

• ベイズ学習則は、リッジ回帰、ニュートン法、カルマンフィルタ、確率的勾配降下法、RMSprop、ドロップアウトなど、広範なアルゴリズムを、単一の推論則の特定の例として成功裏に回復した。
• フレームワークは、既存のアルゴリズムを一貫したベイズ的変分推論の枠組みに組み込むことで、理論的根拠を強化し、一般化を実現した。
• 自然勾配近似を用いることで、特に高次元かつi.i.d.でない設定においても、安定的かつ適応的なパラメータ更新が可能になった。
• 指数型分布族の使用により、期待値やモーメントの効率的計算が可能となり、変分目的関数の取り扱いやすい最適化が実現された。
• 制御された近似を通じて、フレームワークは新規アルゴリズムの変種の導出を可能にした。例えば、2階微分のためのDelta近似がその例である。
• ガウス分布や混合モデルといった特定の具体化は、VAE や混合密度ネットワークといった既知のアルゴリズムをもたらし、広範な適用可能性を示した。