[論文レビュー] An Instability in Variational Inference for Topic Models

Behrooz Ghorbani, Hamid Javadi+1 more|arXiv (Cornell University)|Feb 2, 2018

Bayesian Methods and Mixture Models参考文献 32被引用数 15

ひとこと要約

この論文は、トピックモデルにおける平均場変分ベイズ推論における重大な不安定性を特定し、データに実際の信号が存在しない場合でも非自明なトピック分解が生じることを示している。この不安定性により、真のトピックと相関のない誤った事後分布推定が生じ、正しいモデル仮定と既知のパラメータのもとでもベイジアン推論の信頼性が損なわれる。

ABSTRACT

Topic models are Bayesian models that are frequently used to capture the latent structure of certain corpora of documents or images. Each data element in such a corpus (for instance each item in a collection of scientific articles) is regarded as a convex combination of a small number of vectors corresponding to `topics' or `components'. The weights are assumed to have a Dirichlet prior distribution. The standard approach towards approximating the posterior is to use variational inference algorithms, and in particular a mean field approximation. We show that this approach suffers from an instability that can produce misleading conclusions. Namely, for certain regimes of the model parameters, variational inference outputs a non-trivial decomposition into topics. However --for the same parameter values-- the data contain no actual information about the true decomposition, and hence the output of the algorithm is uncorrelated with the true topic decomposition. Among other consequences, the estimated posterior mean is significantly wrong, and estimated Bayesian credible regions do not achieve the nominal coverage. We discuss how this instability is remedied by more accurate mean field approximations.

研究の動機と目的

• 理想化されたモデル条件下での潜在ディリクレ配分（LDA）における平均場変分ベイズ推論の信頼性を調査すること。
• 真の構造が存在しないにもかかわらず変分ベイズ推論が誤ったトピック分解を生じる条件を特定すること。
• この不安定性により推定された事後分布と信用区間が著しく不正確になることの実証。
• 不安定性を是正するより正確な平均場近似を提案すること。

提案手法

• 平均場因子化仮定の下でギブズ自由エネルギー最小化フレームワークを用いて変分ベイズ推論問題を分析する。
• 変分パラメータの固定点方程式を導出し、ランダム行列理論と漸近解析を用いてその安定性を検討する。
• 近似メッセージパッシング（AMP）を用いて推定されたトピックと真のトピックの相関を推定し、理論的予測を検証する。
• バインダー積率を用いて相関を定量的に評価し、情報のない解への収束を検出する。
• 固定点の一意性を示すために、ランダムベクトルのノルムの2次および3次モーメントに関する予想を提示する。
• より正確な近似と標準的な平均場変分ベイズ推論の性能を比較し、安定性の向上を示す。

実験結果

リサーチクエスチョン

• RQ1 データに真のトピック構造が存在しない場合、平均場変分ベイズ推論が非自明なトピック推定を生じるパラメータ領域は何か？
• RQ2 正しいモデル仕様のもとで、事後分布の平均推定値と信用区間が名目上のカバレッジを達成できないのはなぜか？
• RQ3 信号対雑音比 β は、トピックモデルにおける変分ベイズ推論の安定性にどのように影響するか？
• RQ4 より正確な平均場近似により、標準的な平均場変分ベイズ推論で観察された不安定性を是正できるか？
• RQ5 ディリクレ事前分布の濃度パラメータ ν とデータ対トピック比 δ は、不安定性の発生または抑制に果たす役割は何か？

主な発見

• データに実際の信号が存在しない場合でも、平均場変分ベイズ推論は非自明なトピック分解を生じさせ、真のトピックと相関のない推定が得られる。
• 推定された事後分布の平均は著しくバイアスが大きく、ベイジアン信用区間は名目上のカバレッジ確率を達成できない。
• 信号対雑音比 β が臨界閾値 β_Bayes(k,ν,δ) を超えると、アルゴリズムが誤った固定点に収束する不安定性が発生する。
• 減衰付きAMPを用いた数値シミュレーションにより、この閾値未満で推定されたトピックと真のトピックの相関が急激に低下することが確認され、信号回復の喪失が示された。
• この不安定性の原因は、平均場近似が高階の依存関係を考慮しないことに起因し、より正確な変分近似によって是正可能である。
• ランダムベクトルのノルムのモーメントに関する予想が、固定点の一意性を示し、理論的安定性解析を支持することが示された。