[논문 리뷰] Learning Communities in the Presence of Errors

Konstantin Makarychev, Yury Makarychev외 1명|arXiv (Cornell University)|2015. 11. 10.

Machine Learning and Algorithms참고 문헌 48인용 수 8

한 줄 요약

이 논문은 Feige–Kilian 단조 오차와 간선 외곽선 편향을 포함한 적대적 모델링 오차 하에서 스토하스틱 블록 모델(SBM)에서 강건한 부분 복원을 위한 다항시간 알고리즘을 제시한다. Mossel 등이 제기한 열린 문제에 대해, $o(n)$의 적대적 간선 추가가 있을 경우에도 거의 정확한 복원이 가능하다는 것을 확인하며, $k>2$ 공동체에 대해서도 성립함을 보이며, Kullback–Leibler 발산에서 $\varepsilon m$ 이내인 분포로까지 복원 보장을 확장한다.

ABSTRACT

We study the problem of learning communities in the presence of modeling errors and give robust recovery algorithms for the Stochastic Block Model (SBM). This model, which is also known as the Planted Partition Model, is widely used for community detection and graph partitioning in various fields, including machine learning, statistics, and social sciences. Many algorithms exist for learning communities in the Stochastic Block Model, but they do not work well in the presence of errors. In this paper, we initiate the study of robust algorithms for partial recovery in SBM with modeling errors or noise. We consider graphs generated according to the Stochastic Block Model and then modified by an adversary. We allow two types of adversarial errors, Feige---Kilian or monotone errors, and edge outlier errors. Mossel, Neeman and Sly (STOC 2015) posed an open question about whether an almost exact recovery is possible when the adversary is allowed to add $o(n)$ edges. Our work answers this question affirmatively even in the case of $k>2$ communities. We then show that our algorithms work not only when the instances come from SBM, but also work when the instances come from any distribution of graphs that is $εm$ close to SBM in the Kullback---Leibler divergence. This result also works in the presence of adversarial errors. Finally, we present almost tight lower bounds for two communities.

연구 동기 및 목표

• 간선 추가 및 제거와 같은 적대적 모델링 오차 하에서 기존 SBM 알고리즘의 강건성 부족 문제를 해결한다.
• 노이즈로 인해 정확한 SBM에서 벗어나도 복원 성능을 보장하는 다항시간 알고리즘을 제공한다.
• Mossel, Neeman, 그리고 Sly(2015)가 제기한 열린 문제에 대해, 적대자가 $o(n)$개의 간선을 추가할 경우 거의 정확한 복원이 가능한지 여부를 확인한다.
• 정확한 SBM 사례를 초월하여 Kullback–Leibler 발산에서 $\varepsilon m$ 이내인 분포로도 복원 보장을 확장한다.
• 두 공동체 사례에 대해 강력한 하한을 설정하여, 적대적 노이즈 하에서의 정보이론적 한계를 규명한다.

제안 방법

• 외곽선 및 단조 오차에 강건한 스펙트럴 클러스터링 기반 알고리즘과 두 단계의 정밀 조정 프로세스를 사용하는 두 가지 다항시간 알고리즘을 제안한다.
• 지역 밀도와 연결성을 기반으로 간선을 임계처리하는 수정된 스펙트럴 클러스터링 방법을 사용하여, 적대적 편향에도 불구하고 클러스터를 복원한다.
• 집중 부등식을 활용하여 적대적 간선 수정 상황에서 실패 확률을 근사하는 확률론적 분석 프레임워크를 적용한다.
• KL 발산과 오차 확률 간의 관계를 규명하는 핵심 보조정리를 도입하여, SBM에 가까운 분포에 대한 강건성을 확보한다.
• 회전 불변 클러스터링 전략을 사용하여 복원된 분할이 진정한 심기된 분할에서 $\delta$ 이내가 되도록 보장한다.
• 로그합 부등식과 KL 발산 한계를 활용하여, 악성 노이즈에 대한 최악의 상황에서도 복원 성공에 대한 확률적 보장을 유도한다.

실험 결과

연구 질문

• RQ1 적대자가 $o(n)$개의 간선을 추가하는 경우, SBM에서 부분 복원을 다항시간 내에 달성할 수 있는가?
• RQ2 스펙트럴 클러스터링 알고리즘은 Feige–Kilian 단조 오차(내부 간선 추가, 외부 간선 제거)에 얼마나 강건한가?
• RQ3 KL 발산에서 $\varepsilon m$ 이내인 분포로부터 생성된 그래프로도 복원 보장이 확장될 수 있는가?
• RQ4 두 공동체 SBM에서 적대적 노이즈 하에 부분 복원의 정보이론적 한계는 무엇인가?
• RQ5 정확한 복원이 정보이론적으로 불가능한 상황이라도, 적대적 모델링 오차가 존재할 때 거의 정확한 복원이 가능한가?

주요 결과

• 논문은 Mossel 등이 제기한 열린 문제에 대해 긍정적인 답변을 제시한다: $k>2$ 공동체에 대해서도 적대자가 $o(n)$개의 간선을 추가하더라도 거의 정확한 복원이 가능하다.
• 조건 $\frac{\sqrt{a+b(k-1)}}{a-b} + \frac{\varepsilon(a+b(k-1))}{a-b} \leq c/k$ 하에서, 알고리즘은 $\delta = 1/(10k)$로 $\delta$-근접한 부분 복원을 고확률로 달성한다.
• 알고리즘은 SBM에 $\varepsilon m$ KL 발산 이내인 분포에 대해서도 강건하여, 정확한 SBM 사례를 초월한 적용 가능성을 보장한다.
• 두 공동체 사례에 대해 강력한 하한이 확립되어, 복원 임계점이 거의 최적임을 보여준다.
• 알고리즘의 실패 확률은 $\tau + \exp(-\delta_0 kn/6)$ 이하로 제한되며, 이는 적대적 노이즈 하에서도 고확률 복원을 보여준다.
• 이론적 분석은 KL 발산 한계와 오차 확률과 분포 간의 발산을 연결하는 데 새로운 방식으로 로그합 부등식을 적용한다.