[논문 리뷰] Overlapping Clustering Models, and One (class) SVM to Bind Them All

Xueyu Mao, Purnamrita Sarkar외 1명|arXiv (Cornell University)|2018. 06. 18.

Complex Network Analysis Techniques참고 문헌 34인용 수 14

한 줄 요약

이 논문은 데이터 포인트가 콘 구조 내에 존재하는 모델들—예를 들어 혼합 구성성 확률 블록 모델, 토픽 모델, 정도 보정된 네트워크 모델—에서 공동 클러스터링을 위한 확장 가능하고 증명 가능하게 일致하는 방법인 SVM-cone을 제안한다. 이 방법은 한류 SVM를 사용하여 공동 구성원 관계를 추론하며, 단위 구면에서의 정규화 및 서포트 벡터 탐지로 인해 오차 증폭을 방지함으로써 전통적인 단체형 기반 접근 방식보다 우수하다.

ABSTRACT

People belong to multiple communities, words belong to multiple topics, and books cover multiple genres; overlapping clusters are commonplace. Many existing overlapping clustering methods model each person (or word, or book) as a non-negative weighted combination of "exemplars" who belong solely to one community, with some small noise. Geometrically, each person is a point on a cone whose corners are these exemplars. This basic form encompasses the widely used Mixed Membership Stochastic Blockmodel of networks (Airoldi et al., 2008) and its degree-corrected variants (Jin et al., 2017), as well as topic models such as LDA (Blei et al., 2003). We show that a simple one-class SVM yields provably consistent parameter inference for all such models, and scales to large datasets. Experimental results on several simulated and real datasets show our algorithm (called SVM-cone) is both accurate and scalable.

연구 동기 및 목표

• 기존 공동 클러스터링 방법들이 취약한 단체형 투영에 의존하고 오차 증폭에 민감한 점을 해결하기 위해.
• 토론 모델과 네트워크 블록 모델과 같은 다양한 공동 클러스터링 모델을 비음수, 비대칭 가중치를 가진 콘 기반 기하학적 프레임워크로 통합하기 위해.
• 비음수이고 비대칭적인 가중치를 가진 공동 모델에서 공동 클러스터 구성원 관계를 추정하기 위한 확장 가능하고 통계적으로 일치하는 추론 방법을 개발하기 위해.
• 노이즈 또는 손상된 데이터가 존재할 때조차도 콘의 모서리 레이어(순수 예시)를 신뢰성 있게 식별할 수 있도록 한류 SVM가 효과적으로 작용함을 보여주기 위해.

제안 방법

• 모든 공동 클러스터링 문제를 비음수 콘 내에 존재하는 데이터 포인트로 모델링하며, 이상적인 점들은 콘의 모서리에 위치한 '예시' 노드들의 볼록 조합으로 표현된다.
• 기하학적 추론의 안정성과 열악한 단체형 투영으로 인한 오차 증폭 방지를 위해 데이터 포인트를 단위 구면으로 정규화한다.
• 콘의 모서리 레이어에 해당하는 서포트 벡터를 탐지하기 위해 한류 SVM를 적용한다.
• 식별된 예시를 기반으로 회귀를 통해 구성원 가중치를 추정함으로써 공동 클러스터 구성원 관계의 일致한 추론을 가능하게 한다.
• 한류 SVM 접근 방식이 약한 정규성 조건 하에서 일치하는 매개변수 추정을 달성함을 증명하며, 표본 크기가 증가함에 따라 진짜 구성원 관계로 수렴함을 보여준다.
• 데이터를 콘 프레임워크로 변환함으로써 정도 보정된 MMSB 및 토픽 모델과 같은 다양한 모델에 이 방법을 적응시킨다.

실험 결과

연구 질문

• RQ1 일관된 추론을 다양한 공동 클러스터링 모델—예를 들어 토픽 모델과 네트워크 블록 모델—전반에 걸쳐 단일 통합 방법으로 달성할 수 있는가?
• RQ2 노이즈가 존재할 경우에도 한류 SVM이 콘 기반 모델에서 공동 구성원 관계의 증명 가능하게 일치하는 추정을 제공하는가?
• RQ3 모서리 탐지 과정에서 오차 증폭에 대한 저항성 측면에서 기존 방법과 비교해 본다면, 제안된 방법은 어떠한가?
• RQ4 대규모 데이터셋에서도 통계적 일치성을 유지하면서 효율적으로 확장 가능한가?

주요 결과

• SVM-cone는 MMSB, DCMMSB, LDA를 포함한 모든 콘 기반 공동 클러스터링 모델에 대해 증명 가능하게 일치하는 매개변수 추론을 달성한다.
• 단위 구면에서의 정규화 및 서포트 벡터 탐지로 인해 오차 증폭을 방지함으로써 단체형 기반 접근 방식보다 우수하다.
• 시뮬레이션 및 실제 데이터셋에서 SVM-cone는 높은 정확도와 확장 가능성을 보이며, 클러스터링 품질과 계산 효율성 측면에서 기존 방법을 능가한다.
• 동일한 크기의 두 공동 SBM에 대해, 분리 조건 $(p - q)/\sqrt{p} = \tilde{\Omega}(1/\sqrt{n})$ 가 만족될 경우 SVM-cone는 노드 레이블을 일관되게 추정하며, 알려진 일致성 임계값과 로그 인자 오차 범위 내에서 일치한다.
• 멤버십 확률를 $1/K$ 기준으로 임계처리함으로써 DCMMSB에서 이진 공동 할당을 성공적으로 복원하며, 중첩이 가능한 스토케스틱 블록 모델에의 적용 가능성을 제공한다.
• NIPS, PubMed, Enron 등의 데이터셋에서의 실증 결과는 SVM-cone가 의미 있는 토픽과 공동을 정확히 복원함을 보여주며, 상위 10개 단어 토픽이 도메인 지식과 잘 일치한다.