[论文解读] A Sharp Lower Bound for Mixed-membership Estimation

Jiashun Jin, Zheng Tracy Ke|arXiv (Cornell University)|Sep 17, 2017

Statistical Methods and Inference参考文献 10被引用 10

一句话总结

本文在度校正混合成员模型（DCMM）下，针对严重度异质性的网络，建立了估计混合成员关系的严格极小极大下界，考虑了严重的度异质性。研究证明，在广泛条件下该下界是可实现的，表明成员向量ℓ¹估计的最优收敛速率是多项式而非社区检测中的指数级。

ABSTRACT

Consider an undirected network with $n$ nodes and $K$ perceivable communities, where some nodes may have mixed memberships. We assume that for each node $1 \leq i \leq n$, there is a probability mass function $π_i$ defined over $\{1, 2, \ldots, K\}$ such that \[ π_i(k) = \mbox{the weight of node $i$ on community $k$}, \qquad 1 \leq k \leq K. \] The goal is to estimate $\{π_i, 1 \leq i \leq n\}$ (i.e., membership estimation). We model the network with the {\it degree-corrected mixed membership (DCMM)} model \cite{Mixed-SCORE}. Since for many natural networks, the degrees have an approximate power-law tail, we allow {\it severe degree heterogeneity} in our model. For any membership estimation $\{\hatπ_i, 1 \leq i \leq n\}$, since each $π_i$ is a probability mass function, it is natural to measure the errors by the average $\ell^1$-norm \[ \frac{1}{n} \sum_{i = 1}^n \| \hatπ_i - π_i\|_1. \] We also consider a variant of the $\ell^1$-loss, where each $\|\hatπ_i - π_i\|_1$ is re-weighted by the degree parameter $θ_i$ in DCMM (to be introduced). We present a sharp lower bound. We also show that such a lower bound is achievable under a broad situation. More discussion in this vein is continued in our forthcoming manuscript. The results are very different from those on community detection. For community detection, the focus is on the special case where all $π_i$ are degenerate; the goal is clustering, so Hamming distance is the natural choice of loss function, and the rate can be exponentially fast. The setting here is broader and more difficult: it is more natural to use the $\ell^1$-loss, and the rate is only polynomially fast.

研究动机与目标

• 在具有严重度异质性的网络中，建立估计混合成员向量的严格极小极大下界。
• 刻画DCMM模型中成员概率ℓ¹估计的最优收敛速率。
• 证明所推导的下界在广泛条件下可实现，从而确认其严格性。
• 将混合成员估计的多项式收敛速率与社区检测中的指数级快速速率进行对比。

提出的方法

• 作者使用度校正混合成员（DCMM）模型对网络进行建模，该模型同时扩展了混合成员随机块模型和度校正块模型。
• 将网络的邻接矩阵定义为低秩信号矩阵（Ω）加上噪声（W），其中Ω = ΘΠPΠ′Θ，Θ用于捕捉度异质性，Π表示成员向量。
• 利用广义Fano不等式，通过精心构造的一组成员配置，推导出非渐近极小极大下界。
• 该证明构造了一组具有受控ℓ¹距离的替代成员向量，并利用其诱导的网络分布之间的Kullback-Leibler散度来界定估计误差。
• 通过按节点度重加权ℓ¹损失，将度异质性纳入分析，并同时考虑组内与组间边概率的扰动。
• 对于一般K，该方法通过使用正交基向量对成员向量进行扰动来扩展构造，并分析扰动模型中的信噪比。

实验结果

研究问题

• RQ1 在具有严重度异质性的网络中，估计混合成员向量的根本极限（极小极大速率）是什么？
• RQ2 在ℓ¹范数下，估计误差速率与社区检测中的速率相比如何，后者中成员关系是退化的？
• RQ3 所推导的下界在实际中是否可实现？在何种条件下可实现？
• RQ4 度异质性如何影响混合成员模型中可实现的估计精度？
• RQ5 社区交互矩阵P的结构在决定极小极大风险方面起什么作用？

主要发现

• 建立了ℓ¹估计误差的严格极小极大下界，表明最优收敛速率在n中为多项式，而非退化社区检测中的指数级。
• 在重加权ℓ¹损失下，下界阶为O(n^{-1/2} δ_n^2)，其中δ_n控制成员向量之间的分离度。
• 该下界在广泛条件下可实现，包括度异质性参数θ_i为重尾分布（如幂律分布）的情形。
• 分析表明，混合成员的存在从根本上改变了估计速率，与纯社区检测中使用汉明损失可实现指数级快速收敛形成对比。
• 即使社区交互矩阵P为非奇异且对角线元素为1，结果依然成立，确保了模型的可识别性。
• 该下界对度异质性具有鲁棒性，在节点度服从幂律尾部（现实网络中常见）时仍保持严格性。