[論文レビュー] Consistency of maximum-likelihood and variational estimators in the Stochastic Block Model

Alain Célisse, Jean‐Jacques Daudin+1 more|arXiv (Cornell University)|May 17, 2011

Bayesian Methods and Mixture Models参考文献 20被引用数 140

ひとこと要約

本稿は、二値有向ランダムグラフのストキャスティックブロックモデル（SBM）における最尤推定および変分推定の、最初の一貫性結果を確立する。集中不等式と同定可能性の証明を用いて、両推定器がエッジ確率πを一貫して推定できることを示し、追加の仮定のもとでグループ内割合αについても同様に一貫性を示す。

ABSTRACT

The stochastic block model (SBM) is a probabilistic model de- signed to describe heterogeneous directed and undirected graphs. In this paper, we address the asymptotic inference on SBM by use of maximum- likelihood and variational approaches. The identi ability of SBM is proved, while asymptotic properties of maximum-likelihood and variational esti- mators are provided. In particular, the consistency of these estimators is settled, which is, to the best of our knowledge, the rst result of this type for variational estimators with random graphs.

研究の動機と目的

• 二値有向グラフのストキャスティックブロックモデル（SBM）における最尤推定および変分推定の理論的一貫性を確立すること。
• 有向グラフにおいて非自明であるが、緩い仮定のもとでSBMの同定可能性を証明すること。
• 変分推定における理論的ギャップを埋めるために、漸近的性質および集中不等式を導出すること。
• 変分推定がSBMにおいて最尤推定と漸近的に同等であることを示すこと。

提案手法

• 代数的および確率的議論を用いて、緩い正則性条件のもとでSBMの同定可能性を証明した。
• 集中不等式を適用して、尤度および変分下界がその期待値からどれほど逸脱するかを制御した。
• 変分下界（尤度の対数にジェンセンの不等式を適用）を用いて、周辺尤度の取り扱い可能な近似を得た。
• 完全尤度、変分下界、周辺尤度の間の不等式連鎖を確立し、推定誤差をバインドした。
• 変分推定と最尤推定の関係を、項∑ᵢ log αẑᵢを通じて活用し、漸近的同等性を示した。
• 変分分布と真の後確率の間のカルバック・ライブララー距離を用いて、尤度ギャップの観点から推定誤差をバインドした。

実験結果

リサーチクエスチョン

• RQ1 有向グラフにおいて、緩い仮定のもとでストキャスティックブロックモデルは同定可能か？
• RQ2 最尤推定は、SBMにおけるエッジ確率行列πの推定に対して一貫性を示すか？
• RQ3 変分推定は、SBMにおけるπの推定に対して一貫性を示すか？ また、最尤推定と同一の極限に収束するか？
• RQ4 変分的手法が、最尤推定と漸近的に一致することを示すことによって、SBMにおける理論的正当性を立証できるか？
• RQ5 大規模なSBMグラフにおける尤度および変分目的関数の集中性の性質は何か？

主な発見

• 有向グラフであっても、緩い正則性条件のもとで、ストキャスティックブロックモデルは同定可能であり、これは非自明な結果である。
• 最尤推定は、SBMにおけるグループ間のエッジ確率πの推定に対して一貫性を示す。
• 変分推定は、SBMにおけるπの推定に対して一貫性を示し、これは変分推定におけるSBMの最初のこのような結果である。
• 変分推定は、仮定(A3)のもとで、推定誤差がO(n log(1/γ))でバインドされるという点で、最尤推定と漸近的に同等である。
• 変分下界と周辺尤度の差は、項∑ᵢ log αẑᵢによって制御され、正則性のもとで漸近的に消える。
• 集中不等式を用いて、尤度および変分目的関数が期待値のまわりに集中することを示し、一貫性証明を可能にした。