[论文解读] Learning Communities in the Presence of Errors

Konstantin Makarychev, Yury Makarychev+1 more|arXiv (Cornell University)|Nov 10, 2015

Machine Learning and Algorithms参考文献 48被引用 8

一句话总结

本文提出了在对抗性建模误差（包括Feige–Kilian单调误差和边异常值扰动）下，随机块模型（SBM）中鲁棒部分恢复的多项式时间算法。它正面回答了Mossel等人提出的一个开放问题：即使在 adversary 添加 $o(n)$ 条边的情况下，对于 $k>2$ 个社区，几乎精确恢复仍是可能的，且将保证扩展至与SBM在Kullback–Leibler散度意义下接近的分布。

ABSTRACT

We study the problem of learning communities in the presence of modeling errors and give robust recovery algorithms for the Stochastic Block Model (SBM). This model, which is also known as the Planted Partition Model, is widely used for community detection and graph partitioning in various fields, including machine learning, statistics, and social sciences. Many algorithms exist for learning communities in the Stochastic Block Model, but they do not work well in the presence of errors. In this paper, we initiate the study of robust algorithms for partial recovery in SBM with modeling errors or noise. We consider graphs generated according to the Stochastic Block Model and then modified by an adversary. We allow two types of adversarial errors, Feige---Kilian or monotone errors, and edge outlier errors. Mossel, Neeman and Sly (STOC 2015) posed an open question about whether an almost exact recovery is possible when the adversary is allowed to add $o(n)$ edges. Our work answers this question affirmatively even in the case of $k>2$ communities. We then show that our algorithms work not only when the instances come from SBM, but also work when the instances come from any distribution of graphs that is $εm$ close to SBM in the Kullback---Leibler divergence. This result also works in the presence of adversarial errors. Finally, we present almost tight lower bounds for two communities.

研究动机与目标

• 解决现有SBM算法在对抗性建模误差（如边添加和删除）下缺乏鲁棒性的问题。
• 提供多项式时间算法，即使图因噪声而偏离精确SBM，也能实现部分恢复。
• 正面回答Mossel、Neeman和Sly（2015）提出的开放问题：当 adversary 添加 $o(n)$ 条边时，几乎精确恢复是否可能。
• 将恢复保证从精确SBM实例扩展至与SBM在 $\varepsilon m$ KL散度内接近的分布。
• 为两社区情形建立紧致下界，刻画在对抗性噪声下的信息论极限。

提出的方法

• 提出两种多项式时间算法：一种基于对异常值和单调误差具有鲁棒性的谱聚类，另一种采用两阶段精炼过程。
• 采用一种改进的谱聚类方法，根据局部密度和连通性对边进行阈值处理，从而在对抗性扰动下仍能恢复聚类。
• 应用概率分析框架，利用集中不等式，对对抗性边修改下的失败概率进行上界估计。
• 引入一个关键引理，将KL散度与误差概率关联，从而实现对与SBM在散度意义下接近的分布的鲁棒性。
• 采用置换不变的聚类策略，确保恢复的划分与真实植入划分 $\delta$-接近。
• 利用对数求和不等式和KL散度上界，推导出在最坏对抗性污染下恢复成功的概率保证。

实验结果

研究问题

• RQ1 当 adversary 向图中添加 $o(n)$ 条边时，能否在多项式时间内实现SBM中的部分恢复？
• RQ2 社区检测算法对Feige–Kilian单调误差（即添加类内边、删除类间边）有多鲁棒？
• RQ3 恢复保证能否扩展至与SBM在KL散度意义下 $\varepsilon m$-接近的分布所生成的图？
• RQ4 在对抗性噪声下，两社区SBM的部分恢复的信息论极限是什么？
• RQ5 即使精确恢复在信息论上不可能，是否仍能在对抗性建模误差下实现几乎精确恢复？

主要发现

• 本文正面回答了Mossel等人提出的开放问题：即使 adversary 添加 $o(n)$ 条边，对于 $k>2$ 个社区，几乎精确恢复仍是可能的。
• 所提出的算法在 $\frac{\sqrt{a+b(k-1)}}{a-b} + \frac{\varepsilon(a+b(k-1))}{a-b} \leq c/k$ 条件下，以高概率实现 $\delta$-接近的部分恢复，其中 $\delta = 1/(10k)$。
• 算法对与SBM在 $\varepsilon m$ KL散度内的分布具有鲁棒性，从而将适用范围扩展至精确SBM实例之外。
• 为两社区情形建立了紧致下界，表明恢复阈值近乎最优。
• 算法的失败概率被上界控制在 $\tau + \exp(-\delta_0 kn/6)$ 以内，表明在对抗性噪声下具有高概率恢复能力。
• 理论分析利用KL散度上界和对对数求和不等式的创新应用，将误差概率与分布间的散度关联起来。