[論文レビュー] Streamlined Computing for Variational Inference with Higher Level Random Effects

Tui H. Nolan, Marianne Menictas+1 more|arXiv (Cornell University)|Mar 7, 2019

Gaussian Processes and Bayesian Inference参考文献 20被引用数 9

ひとこと要約

本稿は、2レベルおよび3レベルのランダム効果を備えた線形混合モデルにおける変分ベイズ推論の明示的で洗練されたアルゴリズムを提示する。先行研究を2レベルのケースにとどまらず拡張し、スパース行列構造を活用した効率的な平均場変分ベイズ法および変分メッセージパッシング手法を導入することで、非ゼロのデザイン成分にのみ作用するため、計算量を1兆回から1,000回程度にまで削減し、大規模データセットでも高速かつスケーラブルな推論を実現する。

ABSTRACT

We derive and present explicit algorithms to facilitate streamlined computing for variational inference for models containing higher level random effects. Existing literature, such as Lee and Wand (2016), is such that streamlined variational inference is restricted to mean field variational Bayes algorithms for two-level random effects models. Here we provide the following extensions: (1) explicit Gaussian response mean field variational Bayes algorithms for three-level models, (2) explicit algorithms for the alternative variational message passing approach in the case of two-level and three-level models, and (3) an explanation of how arbitrarily high levels of nesting can be handled based on the recently published matrix algebraic results of the authors. A pay-off from (2) is simple extension to non-Gaussian response models. In summary, we remove barriers for streamlining variational inference algorithms based on either the mean field variational Bayes approach or the variational message passing approach when higher level random effects are present.

研究の動機と目的

• 2レベルのランダム効果モデルを超えて、3レベル以上にネストされた構造を有する多層モデルへの洗練された変分推論を拡張すること。
• 多層モデルにおける平均場変分ベイズ法および変分メッセージパッシングの両方の明示的で計算効率の良いアルゴリズムを提供すること。
• スパース行列代数を活用し、デザイン行列の非ゼロ成分にのみ注目することで、大規模データセットにおけるスケーラブルな推論を可能にすること。
• 最近の行列代数の結果を用いて、任意の高レベルのネスト構造を体系的かつ一貫して扱うフレームワークを確立すること。
• 集計回数に比例する線形時間の更新を用いて、密行列演算を置き換えることで、縦断的および多層データ解析における計算負荷を軽減すること。

提案手法

• 2レベルおよび3レベルのランダム効果モデルにおいて、スパース線形方程式系を解き、行列逆行列の部分ブロックを計算するための4つの基本的アルゴリズム（A.1–A.4）を導出する。
• 平均場変分ベイズ更新における数値的安定性と効率性を向上させるために、QR分解の改良を適用する。
• 変分メッセージパッシングに基づく要因グラフ断片の更新のための8つの新規アルゴリズム（1–8）を開発し、モジュラで再利用可能な推論コードの実現を可能にする。
• Nolan & Wand (2020) の行列代数的結果を用いて、より高いレベルのネストを体系的に扱うが、まだ完全に一般化されていない場合でも対応可能である。
• メッセージパッシングを、モデルサイズにかかわらず一度だけ導出・コーディングする必要がある、コンactで再利用可能な断片として実装する。
• スパース行列表現を用いることで、完全な密行列を格納・操作するのを回避し、ストレージおよび計算量を元の1/10,000にまで削減する。

実験結果

リサーチクエスチョン

• RQ1 変分推論は、標準的な2レベルケースを超えて、3レベルのランダム効果モデルにどのように効率的に拡張できるか？
• RQ2 高レベルのネスト構造を持つ多層モデルにおける洗練された平均場変分ベイズ法に必要な明示的なアルゴリズム的要素は何か？
• RQ3 変分メッセージパッシングは、高レベルのランダム効果を有する多層モデルに適応可能か？ これにより、モジュラでスケーラブルな推論が可能になるか？
• RQ4 スパース行列代数は、大規模な多層モデルにおける計算複雑性をどのように軽減できるか？
• RQ5 高次元の多層モデルにおいて、洗練された変分推論はMCMC手法に比べてどの程度の計算パフォーマンス向上を達成できるか？

主な発見

• コラボラティブ・ペリナタル・プロジェクトのデータに対して、洗練された平均場変分ベイズ法は24秒で推論を完了したが、Stanを用いた場合は36時間、RベースのMCMCでは3.5時間かかった。
• 洗練された変分推論はMCMC法に比べて、C++ベースのMCMCでは12.3倍、StanベースのMCMCでは5,400倍の高速化を達成し、顕著な効率性の向上を示した。
• 1.83兆個の要素を有するデザイン行列の非ゼロ成分の0.01%にのみ処理を集中させることで、ストレージおよび計算量を実行可能レベルにまで削減した。
• 変分メッセージパッシングにより、モデルサイズに関係なく再利用可能なモジュラ推論コードが可能となり、保守性およびスケーラビリティが向上した。
• ガウス応答モデルでは、平均場変分ベイズ法がMCMCとほぼ同一の信用区間および事後推定値を生成し、高い精度を確認した。
• 本フレームワークは、一般化加法混合モデル、非ガウス尤度、およびより高いレベルのネスト構造への拡張のための体系的かつ実用的な青写真を提供する。