[論文レビュー] Adaptive variational Bayes: Optimality, computation and applications

Ilsang Ohn, Lizhen Lin|arXiv (Cornell University)|Sep 7, 2021

Model Reduction and Neural Networks参考文献 107被引用数 4

ひとこと要約

本稿では、一般の条件下で適応的後方分布収縮率を達成する、複数のモデルからの変分後方分布を最適な重みで組み合わせる適応的変分ベイズフレームワークを提案する。この手法は、計算上の実行可能性を保ち、大規模なモデル集合、特にスパースおよびディープラーニングモデルを含む状況でも最適な頻度的性能を達成する。

ABSTRACT

In this paper, we explore adaptive inference based on variational Bayes. Although several studies have been conducted to analyze the contraction properties of variational posteriors, there is still a lack of a general and computationally tractable variational Bayes method that performs adaptive inference. To fill this gap, we propose a novel adaptive variational Bayes framework, which can operate on a collection of models. The proposed framework first computes a variational posterior over each individual model separately and then combines them with certain weights to produce a variational posterior over the entire model. It turns out that this combined variational posterior is the closest member to the posterior over the entire model in a predefined family of approximating distributions. We show that the adaptive variational Bayes attains optimal contraction rates adaptively under very general conditions. We also provide a methodology to maintain the tractability and adaptive optimality of the adaptive variational Bayes even in the presence of an enormous number of individual models, such as sparse models. We apply the general results to several examples, including deep learning and sparse factor models, and derive new and adaptive inference results. In addition, we characterize an implicit regularization effect of variational Bayes and show that the adaptive variational posterior can utilize this.

研究の動機と目的

• 複数のモデルにわたる適応的推論を達成できる一般的かつ計算的に実行可能な変分ベイズ手法の欠如に対処すること。
• モデル固有の事前分布や変分族を必要とせずに、最適な後方分布収縮率を維持するフレームワークを開発すること。
• スパースまたは高次元の設定のような状況において、多数のモデルを取り扱う際の計算可能性を保証すること。
• 深層ニューラルネットワークやスパース要因モデルのような複雑なモデルにおいて、本手法の適応性と最適性を示すこと。
• 変分ベイズの暗黙的正則化効果を特定し、それが推論性能をどのように向上させるかを示すこと。

提案手法

• 標準的な変分ベイズ推論を用いて、モデル集合に属する各個々のモデルに対して別々に変分後方分布を計算する。
• 最適な重みを用いてこれらの個々の変分後方分布を組み合わせ、グローバルな適応的変分後方分布を形成する。
• 得られる適応的変分後方分布は、事前に定義された確率分布の族の中で真の後方分布に最も近い近似である。
• 2段階の手続きを採用する：まず各モデルごとの変分ベイズ推論を行い、次に重み付き平均によるモデルの組み合わせを実行する。
• Zhang & Gao (2020) の理論的結果を活用し、緩い正則性条件のもとで収縮率の最適性を保証する。
• 変分ベイズの暗黙的正則化効果を活用し、高次元およびスパースモデルにおける性能を向上させる。

実験結果

リサーチクエスチョン

• RQ1 一般的かつ計算的に実行可能な変分ベイズ手法は、多様なモデルにわたって適応的後方分布収縮率を達成できるか？
• RQ2 複数のモデルからの変分後方分布を最適に組み合わせることで、真の後方分布に近い近似を得られるか？
• RQ3 モデル数が多かったり、高次元の設定下でも、提案フレームワークは適応的最適性を維持できるか？
• RQ4 変分ベイズにおける暗黙的正則化の役割とは何か？ そして、適応的フレームワークでどのように活用できるか？
• RQ5 深層ニューラルネットワークやスパース要因モデルのような複雑なモデルにおいて、本手法は最適な収縮率を達成できるか？

主な発見

• 適応的変分後方分布は、非パラメトリックおよび高次元の設定を含む非常に一般な条件下で最適な後方分布収縮率を達成する。
• モデル数が多い場合、例えばスパースモデル集合においても、本手法は計算上の実行可能性を維持する。
• モデル選択に基づく変分ベイズよりも、真の後方分布に近い近似を提供する。
• 適応的変分後方分布は、変分ベイズの暗黙的正則化効果を引き継ぎ、推定の安定性を向上させる。
• 理論的結果は、ディープラーニングおよびスパース要因モデルにおいて妥当であり、最適なレートを達成する新たな適応的推論結果をもたらす。
• 本手法は、緩い仮定のもとで頻度的リスクの観点から最適であり、収縮率がミニマックス最適レートと一致することが示された。