[논문 리뷰] Submodular Hypergraphs: p-Laplacians, Cheeger Inequalities and Spectral Clustering

Pan Li, Olgica Milenković|arXiv (Cornell University)|2018. 03. 10.

Advanced Graph Neural Networks참고 문헌 39인용 수 43

한 줄 요약

이 논문은 부분모듈러 하이퍼그래프를 소개하고, 이들에 p-라플라시안을 정의하며, 노달 도메인 정리와 고차 Cheeger 부등식을 증명하고, 1- 및 2-라플라시안에 대한 스펙트럴 클러스터링 알고리즘으로 SDP와 역멱법(IPM) 기반 방법을 제안한다.

ABSTRACT

We introduce submodular hypergraphs, a family of hypergraphs that have different submodular weights associated with different cuts of hyperedges. Submodular hypergraphs arise in clustering applications in which higher-order structures carry relevant information. For such hypergraphs, we define the notion of p-Laplacians and derive corresponding nodal domain theorems and k-way Cheeger inequalities. We conclude with the description of algorithms for computing the spectra of 1- and 2-Laplacians that constitute the basis of new spectral hypergraph clustering methods.

연구 동기 및 목표

• 부분모듈러 하이퍼그래프에 의해 포착된 고차적 정점 의존성을 활용한 클러스터링의 동기를 제시한다.
• 부분모듈러 하이퍼그래프에 대한 p-라플라시안을 정의하고 노달 도메인 정리를 확립한다.
• 이 p-라플라시안들에 대한 k-웨이 Cheeger 부등식을 도출한다.
• 클러스터링을 위한 1- 및 2-라플라시안 스펙트럼을 계산하기 위한 알고리즘을 제안하고 분석한다.
• 실험적 성능을 시연하고 구현 리소스를 제공한다.

제안 방법

• 에지별 부분모듈러 가중 함수와 정규화된 최대 가중치를 갖는 부분모듈러 하이퍼그래프를 정의한다.
• 부분모듈러 하이퍼그래프용 p-라플라시안 연산자를 개발하고 집합-이론 및 Lovász 확장 도구를 통해 고유쌍을 특성화한다.
• 이산적 노달 도메인 정리와 고차 Cheeger 부등식이 고유값을 Cheeger 상수에 연결한다는 것을 증명한다.
• p=2에 대한 두 번째 고유값을 근사하기 위한 SDP 기반 알고리즘을 제안하고 증명 가능한 보장을 제시한다 (O(ζ(E)) 근사).
• p=1에 대한 두 번째 고유값을 근사하기 위한 역멱법(IPM) 기반 알고리즘을 제안하고 수렴 보장을 제시한다.
• 분해 가능한 부분모듈러 최소화를 통한 효율적인 내부 루프 절차를 논의한다.

실험 결과

연구 질문

• RQ1 부분모듈러 하이퍼그래프에 대해 p-라플라시안을 어떻게 정의할 수 있으며, 그 스펙트럼 특성은 무엇인가?
• RQ2 이 p-라플라시안의 고유벡터의 노달 도메인 구조는 어떤가?
• RQ3 고차 Cheeger 부등식이 부분모듈러 하이퍼그래프에서 고유값을 다중 방향 전도도와 어떻게 연결하는가?
• RQ4 스펙트럴 클러스터링을 가능하게 하기 위해 p=1 및 p=2에 대해 두 번째 고유값을 효율적으로 계산하는 알고리즘을 고안할 수 있는가?
• RQ5 부분모듈러 하이퍼그래프에서 SDP- 및 IPM 기반 클러스터링 방법의 성능 보장은 무엇인가?

주요 결과

• 부분모듈러 하이퍼그래프를 도입하고 엣지별 부분모듈러 가중 함수를 정규화와 대칭성과 함께 할당한다.
• 부분모듈러 하이퍼그래프용 p-라플라시안을 정의하고 이산적 노달 도메인 정리와 k-웨이 Cheeger 부등식을 확립한다.
• 두 번째 고유값 λ2(p)가 새로운 상한으로 m-k Cheeger 상수를 촘촘하게 근사한다는 것을 증명한다.
• λ2(2)에 대한 2차 근사 보장을 갖는 SDP 기반 클러스터링 방법과 λ2(1)에 대한 수렴 보장을 갖는 IPM 기반 클러스터링 방법의 두 가지 알고리즘을 제공한다.
• UC Irvine ML 데이터세트에서 IPM 기반 방법의 실험적 효과를 시연하고 구현 코드를 공유한다.
• 스펙트럴 이론을 그래프 임베딩, 웨이블릿, 그래프 컨볼루션 네트워크로의 잠재적 확장과 연결한다.