[論文レビュー] Consistency of ELBO maximization for model selection

Badr-Eddine Chérief-Abdellatif|arXiv (Cornell University)|Oct 28, 2018

Advanced Control Systems Optimization被引用数 12

ひとこと要約

この論文は、変分ベイズにおけるEvidence Lower Bound (ELBO)の最大化によるモデル選択の理論的整合性を確立し、モデルの不適合が生じても、選ばれた変分近似が真のデータ分布へ、真のモデルの近似と同一の速度で収束することを示している。主な貢献は、緩い条件下でもロバスト性と整合性を保証するオラクル不等式の確立であり、その妥当性は、成分数の選択に応用された確率的PCAにおいて検証されている。

ABSTRACT

The Evidence Lower Bound (ELBO) is a quantity that plays a key role in variational inference. It can also be used as a criterion in model selection. However, though extremely popular in practice in the variational Bayes community, there has never been a general theoretic justification for selecting based on the ELBO. In this paper, we show that the ELBO maximization strategy has strong theoretical guarantees, and is robust to model misspecification while most works rely on the assumption that one model is correctly specified. We illustrate our theoretical results by an application to the selection of the number of principal components in probabilistic PCA.

研究の動機と目的

• 変分ベイズにおいて広く用いられているが、形式的根拠に欠けるELBO最大化に基づくモデル選択の理論的裏付けを提供すること。
• 真のモデルが存在する場合に、ELBO基準が真のデータ分布を推定する際の整合性を確立すること。
• 真のモデルが正しく指定されていない場合の分析を拡張し、モデルの不適合に対するロバスト性を証明すること。
• 確率的PCAにおける主成分数の選択という応用を通じて、理論的結果の実用的関連性を示すこと。

提案手法

• モデルに対する事前信念を反映する複雑さペナルティ項を含むペナルティ付きELBO基準を用い、$ \hat{K} = \arg\max_K \left( \text{ELBO}(K) - \log(1/\pi_K) \right) $ として定義する。
• 不適合状況下でもロバスト性と整合性を向上させるために、パrameter $ \alpha \in (0,1) $ を持つ温度調整済み事後分布を適用する。
• 選択した変分族 $ \mathcal{F}_K $ 上での温度調整済み事後分布からのKLダイバージェンスの最小化として、変分近似を定義する。
• 真の分布と選ばれた変分近似の間の期待 $ \alpha $-Rényiダイバージェンスを制限するオラクル不等式を導出する。
• 収束速度解析を可能にするために、共分散推定器の行列成分の有界性を保証するための射影作用素（clipB）を導入する。
• 有界なスペクトルノルム仮定の下で、推定共分散行列のフロベニウスノルムにおける収束速度を分析する。

実験結果

リサーチクエスチョン

• RQ1 真のモデルが正しく指定されていない状況下でも、ELBO最大化がモデル選択に対して理論的に正当化されるか？
• RQ2 ELBO最大化により選ばれた変分近似は、真のモデル下での近似と同一の収束速度に達するか？
• RQ3 真のモデルが不明または不適合している状況下で、ペナルティ付きELBO基準が整合性とロバスト性をどのように保証するか？
• RQ4 確率的PCAにおいて、主成分数をELBOにより選択する際の変分推定器の収束速度はいかほどか？
• RQ5 $ \alpha \in (0,1) $ の温度調整済み事後分布の使用が、ELBOに基づくモデル選択の理論的性質をどのように改善するか？

主な発見

• ペナルティ付きELBO基準により整合性が保証される：標本サイズが増加するにつれて、真の分布と選ばれた変分近似の間の期待 $ \alpha $-Rényiダイバージェンスはゼロに収束する。
• 係数 $ W_0 $ が有界な真のモデル $ M_{K_0} $ が存在する場合、期待 $ \alpha $-Rényiダイバージェンスは $ O\left(\frac{dK_0 \log(dn)}{n}\right) $ で有界である。
• $ W_0 $ の有界なスペクトルノルムの下では、射影共分散推定子 $ \widehat{\Sigma} $ の期待フロベニウスノルム誤差も $ O\left(\frac{dK_0 \log(dn)}{n}\right) $ で有界である。
• オラクル不等式により、どのモデルも完全に正しいとは限らない状況下でもリスクが制御されることから、モデルの不適合に対してもロバストであることが示された。
• 収束速度が真のモデル下での変分近似が達成可能な最適速度と一致しており、適応性が裏付けられた。
• 理論的枠組みは、$ \alpha $-温度調整済み事後分布をELBO最大化に用いることの有効性を支持しており、標準事後分布が病理的状況で失敗するのとは異なり、濃縮性とロバスト性を保証する。