[論文レビュー] Information Limits for Recovering a Hidden Community

Bruce Hajek, Yihong Wu+1 more|arXiv (Cornell University)|Sep 25, 2015

Random Matrices and Applications参考文献 26被引用数 7

ひとこと要約

本稿は、サイズ $K$ の隠れたコミュニティを、$n \times n$ の対称なノイズ付き行列から回復するための鋭い情報理論的限界を確立する。コミュニティ内ではエントリが分布 $P$ に従い、外部では $Q$ に従う。弱い回復（少数の誤り）と正確な回復（誤りなし）のためのタイトな必要十分条件を導出し、正確な回復が情報理論的に可能であるのは、ある種の発散条件が成立する場合に限ることを示している。また、弱い回復アルゴリズムを投票手順を用いて正確な回復にアップグレードできることも示している。

ABSTRACT

We study the problem of recovering a hidden community of cardinality $K$ from an $n imes n$ symmetric data matrix $A$, where for distinct indices $i,j$, $A_{ij} \sim P$ if $i, j$ both belong to the community and $A_{ij} \sim Q$ otherwise, for two known probability distributions $P$ and $Q$ depending on $n$. If $P={ m Bern}(p)$ and $Q={ m Bern}(q)$ with $p>q$, it reduces to the problem of finding a densely-connected $K$-subgraph planted in a large Erdös-Rényi graph; if $P=\mathcal{N}(μ,1)$ and $Q=\mathcal{N}(0,1)$ with $μ>0$, it corresponds to the problem of locating a $K imes K$ principal submatrix of elevated means in a large Gaussian random matrix. We focus on two types of asymptotic recovery guarantees as $n o \infty$: (1) weak recovery: expected number of classification errors is $o(K)$; (2) exact recovery: probability of classifying all indices correctly converges to one. Under mild assumptions on $P$ and $Q$, and allowing the community size to scale sublinearly with $n$, we derive a set of sufficient conditions and a set of necessary conditions for recovery, which are asymptotically tight with sharp constants. The results hold in particular for the Gaussian case, and for the case of bounded log likelihood ratio, including the Bernoulli case whenever $\frac{p}{q}$ and $\frac{1-p}{1-q}$ are bounded away from zero and infinity. An important algorithmic implication is that, whenever exact recovery is information theoretically possible, any algorithm that provides weak recovery when the community size is concentrated near $K$ can be upgraded to achieve exact recovery in linear additional time by a simple voting procedure.

研究の動機と目的

• サイズ $K$ の隠れたコミュニティを、対称なノイズ付き行列から回復するための根本的な情報理論的限界を特定すること。
• $n \to \infty$ の下で、弱い回復（少数の誤り）と正確な回復（誤りなし）が可能となる条件を同定すること。
• ベルヌーイ分布やガウス分布のエントリを含む多様なモデルを、一般の指数型分布族の枠組みで統一すること。
• 正確な回復が情報理論的に可能である場合、任意の弱い回復アルゴリズムを、情報理論的閾値を満たす場合に線形時間で正確な回復にアップグレードできる投票手順を用いて改善できることを示すこと。

提案手法

• 隠れたコミュニティモデルを、コミュニティ内では $P$、外部では $Q$ に従う対称行列として定式化し、指数型分布族の枠組みを用いる。
• カルバック・ライバラー発散と対数尤度比の性質に基づいて、弱い回復と正確な回復のための必要十分条件を導出する。
• $K = o(n)$ の部分線形スケーリング下でのコミュニティ検出問題の漸近的挙動を分析する。
• 情報理論的閾値を満たす場合に、弱い回復アルゴリズムを投票手順を用いて正確な回復にアップグレードする。
• 集中不等式と大偏差を用いて、分類誤差確率の上限を導出する。
• 必要性と十分性を明示的に証明することで、導出された条件が鋭く、鋭い定数を伴ってタイトであることを確立する。

実験結果

リサーチクエスチョン

• RQ1 サイズ $K$ の隠れたコミュニティを、ノイズのある対称行列から回復するための根本的な情報理論的限界は何か？
• RQ2 $n \to \infty$ の下で、$P$, $Q$, および $K$ に対してどのような条件下でコミュニティの正確な回復が可能か？
• RQ3 情報理論的閾値が満たされる場合、弱い回復アルゴリズムを体系的に正確な回復にアップグレードできるか？
• RQ4 ガウス分布およびベルヌーイ分布のケースにおける回復閾値の挙動はどのように変わるか？また、一般の枠組みで統一可能か？
• RQ5 対数尤度比は、回復閾値の鋭さを決定づける役割を果たすか？

主な発見

• ガウス分布の場合、$\mu \to 0$ の下で、正確な回復は情報理論的に可能であることが、$K \gtrsim \frac{1}{2} \log n$ である場合に限る。
• ベルヌーイ分布の場合、$\frac{p}{q}$ および $\frac{1-p}{1-q}$ が 0 および $\infty$ から離れており、かつ $K \gtrsim \frac{1}{2} \log n$ である場合に、正確な回復が可能である。
• 回復のための必要十分条件は、部分線形 $K = o(n)$ の設定下でも、鋭い定数を伴って漸近的にタイトである。
• 正確な回復が情報理論的に可能である場合、コミュニティサイズが $K$ のまわりに集中する任意の弱い回復アルゴリズムは、投票手順を用いて線形時間で正確な回復にアップグレードできる。
• 結果は、ガウス分布や有界な対数尤度比を持つケースを含む指数型分布族全体にわたって一様に成り立ち、統一的な特徴付けが可能である。
• 正確な回復の閾値は $P$ と $Q$ の間の発散によって決定され、ベルヌーイ分布のケースでは、対数尤度比の有界性と同値である。