[論文レビュー] Non-Asymptotic Chernoff Lower Bound and Its Application to Community Detection in Stochastic Block Model

Zhixin Zhou, Ping Li|arXiv (Cornell University)|Dec 29, 2018

Complex Network Analysis Techniques参考文献 37被引用数 4

ひとこと要約

本稿では、定数倍の要因を除いて、ベイズ誤差確率を厳密に上界および下界で抑え込む非漸近的チェルノフ型の不等式を導入し、コミュニティ検出におけるミニマックス誤差率の正確な特徴付けを可能にする。この手法は、ストークスティックブロックモデル（SBM）に適用され、良好な初期化と反復的EM型更新を組み合わせることで、最適な誤差率を達成する新しいアルゴリズムを構築する。

ABSTRACT

Chernoff coefficient is an upper bound of Bayes error probability in classification problem. In this paper, we will develop sharp Chernoff type bound on Bayes error probability. The new bound is not only an upper bound but also a lower bound of Bayes error probability up to a constant in a non-asymptotic setting. Moreover, we will apply this result to community detection in stochastic block model. As a clustering problem, the optimal error rate of community detection can be characterized by our Chernoff type bound. This can be formalized by deriving a minimax error rate over certain class of parameter space, then achieving such error rate by a feasible algorithm employ multiple steps of EM type updates.

研究の動機と目的

• 漸近的仮定に依存しない非漸近的ベイズ誤差確率の分析におけるギャップを埋めるために、定数倍の要因を除いて上界および下界を提供するタイトなチェルノフ型不等式を導出すること。
• この不等式を、既存のミニマックス誤差率解析が緩いチェルノフ不等式によりタイトさに欠けるため、タイトさに欠ける原因となるストークスティックブロックモデル（SBM）におけるコミュニティ検出に適用すること。
• 良好な初期化と複数回のEM型局所更新を組み合わせることで、ミニマックス誤差率に到達可能な実用的なアルゴリズムを開発すること。
• 緩いチェルノフ近似によるため、従来の手法がミニマックスレートを導出できないか、あるいはアルゴリズム的誤差率が最適でない理由を解明し、本手法がその問題をどのように解決するかを明らかにすること。

提案手法

• 漸近的仮定に依存せず、ベイズ誤差確率を定数倍の要因内で上界および下界で抑える非漸近的チェルノフ型不等式を導出する。
• チェルノフ情報 $ D_{ar{ ho}}( ho_0igracevert ho_1) $ の精密な分析を導入し、それがベイズ誤差確率との比が絶対定数で有界であることを示す。
• 対称的ストークスティックブロックモデル（SBM）にこの不等式を適用し、コミュニティ検出を対称的仮説検定問題として定式化する。
• 二段階のアルゴリズムを設計する：(1) 初期化のためのスペクトルクラスタリング、(2) コミュニティ所属の改善のための複数回のEM型局所更新。
• 複数段階にわたり尤度比検定とパラメータ推定を実施し、集中不等式を用いて失敗確率を制御する。
• 誤差分解を新規に導入し、誤分類率を $ O( heta^*) $ で抑え込む。ここで $ heta^* $ はチェルノフ情報とネットワークパラメータの関数である。

実験結果

リサーチクエスチョン

• RQ1 定数倍の要因を除いて、ベイズ誤差確率の上界および下界を同時に満たす非漸近的チェルノフ型不等式を確立できるか？
• RQ2 このようなタイトなチェルノフ不等式をどのように活用して、ストークスティックブロックモデルにおけるコミュニティ検出のミニマックス誤差率を導出できるか？
• RQ3 『良好な初期化 followed 速やかな局所更新（GI-FLU）』フレームワークに従い、ミニマックス誤差率に到達可能な実用的アルゴリズムを設計できるか？
• RQ4 従来のアルゴリズムは、ミニマックスレートを導出できているものの、なぜ最適な誤差率に到達できないのか？本手法の新しい不等式がその問題をどのように解消するか？

主な発見

• 本稿では、チェルノフ係数とベイズ誤差確率との比が、絶対定数で上界および下界に抑えられる非漸近的チェルノフ型不等式を確立した。
• SBMにおけるコミュニティ検出のミニマックス誤差率は $ ilde{ heta}ig(rac{1}{ ext{poly}(n)} ig) $ として特徴付けられ、正確なレート $ heta^* $ はチェルノフ情報とネットワーク次数に依存する。
• 提案されたアルゴリズムは、$ Oig(rac{ ext{exp}(-D)}{ ext{poly}(d)}ig) $ のアルゴリズム的誤差率を達成し、定数倍の要因を除いてミニマックス下界と一致する。
• $ D^* o ext{large} $ の領域において、期待誤分類率は $ Oig(rac{1}{n^{(1+r)igwedge(1+s)}}ig) $ に低下し、多項式的に減少する。
• 解析により、$ ext{Pr}( ext{Mis}( ilde{z}, z) eq 0) = O( heta^*) $ が成り立つことが示され、ここで $ heta^* $ はチェルノフ情報とネットワークパラメータの関数である。
• アルゴリズムの失敗確率は $ Oig(rac{1}{n^{r igwedge s}}ig) $ で抑えられ、緩い条件下でも0に収束することが示された。