[논문 리뷰] Notes on Elementary Spectral Graph Theory. Applications to Graph Clustering Using Normalized Cuts

Jean Gallier|arXiv (Cornell University)|2013. 11. 11.

Graph theory and applications참고 문헌 13인용 수 9

한 줄 요약

이 논문은 그래프 클러스터링을 위한 정규화 컷(normalized cuts)에 중점을 두고 스펙트럴 그래프 이론에 대한 종합적인 소개를 제공한다. 그래프 라플라시안과 그 정규화된 변형들(symmetric 및 random walk)이 고유벡터를 통해 차원 축소를 가능하게 하고, 에너지 최소화 그래프 도식화와 스펙트럴 리 릴랙세이션을 통해 정규화 컷 목적 함수를 최소화함으로써 최적의 클러스터링을 이끌어내는 방식을 설명한다.

ABSTRACT

These are notes on the method of normalized graph cuts and its applications to graph clustering. I provide a fairly thorough treatment of this deeply original method due to Shi and Malik, including complete proofs. I include the necessary background on graphs and graph Laplacians. I then explain in detail how the eigenvectors of the graph Laplacian can be used to draw a graph. This is an attractive application of graph Laplacians. The main thrust of this paper is the method of normalized cuts. I give a detailed account for K = 2 clusters, and also for K > 2 clusters, based on the work of Yu and Shi. Three points that do not appear to have been clearly articulated before are elaborated: 1. The solutions of the main optimization problem should be viewed as tuples in the K-fold cartesian product of projective space RP^{N-1}. 2. When K > 2, the solutions of the relaxed problem should be viewed as elements of the Grassmannian G(K,N). 3. Two possible Riemannian distances are available to compare the closeness of solutions: (a) The distance on (RP^{N-1})^K. (b) The distance on the Grassmannian. I also clarify what should be the necessary and sufficient conditions for a matrix to represent a partition of the vertices of a graph to be clustered.

연구 동기 및 목표

• 그래프 라플라시안과 정규화 컷에 익숙하지 않은 연구자들을 대상으로 자립적이고 접근 가능한 스펙트럴 그래프 이론의 소개를 제공하기 위해.
• 정규화 컷의 수학적 기초를 명확히 하여 비정규화 및 정규화된 라플라시안 행렬의 역할을 설명하기 위해.
• 정규화 컷을 통한 그래프 클러스터링이 에너지 최소화와 스펙트럴 리 릴랙세이션을 활용한 그래프 도식화 문제로 어떻게 재구성될 수 있는지 보여주기 위해.
• 스펙트럴 클러스터링과 프로젝티브 공간 위의 리만 기하학 사이의 관계를 정식화하기 위해, 특히 RP^n 상의 거리 최소화 맥락에서.
• 체적, 컷, 연결선, 코우란트-파이셔 정리와 같은 핵심 개념들을 그래프 분할 맥락에서 엄밀하면서도 직관적인 방식으로 다루기 위해.

제안 방법

• 가중치가 부여된 무방향 그래프에 대해 비정규화 그래프 라플라시안 $ L = D - W $ 를 정의하고, 항등식 $ x^\top L x = \frac{1}{2} \sum_{i,j} w_{ij}(x_i - x_j)^2 $ 를 통해 그의 양의 준정부호성(positive semidefiniteness)을 증명한다.
• 정규화된 라플라시안 $ L_{\mathrm{sym}} = D^{-1/2} L D^{-1/2} $ 과 $ L_{\mathrm{rw}} = D^{-1} L $ 을 도입하여, 이들이 정규화 컷 목적 함수와 등가임을 보여준다.
• 에너지 함수 $ \mathcal{E}(R) = \mathrm{tr}(R^\top L R) $ 를 최소화하는 방식으로 그래프 클러스터링을 그래프 도식화 문제로 재구성한다. 여기서 $ R $ 은 임bedding 행렬이다.
• 스펙트럴 리 릴랙세이션을 활용: 최적의 $ n $-차원 임베딩은 $ L $ 의 가장 작은 $ n $ 개의 양의 고유값에 대응하는 $ n $ 개의 고유벡터로 구성된다.
• 레이일리 몫(Rayleigh quotient)과 코우란트-파이셔 정리(Courant-Fischer theorem)를 적용하여 스펙트럴 리 릴랙세이션 접근법의 타당성을 입증하고, 정규화 컷에 대한 경계를 유도한다.
• 클러스터링 문제를 $ \mathbb{RP}^{n} $ 상에서 모델링하여, 프로젝티브 공간 상의 기하학적 거리 최소화가 $ \min_{a \in A} \|x - a\|_2 $ 또는 $ \|x + a\|_2 $ 의 최소화와 등가임을 보여준다. 이는 반대칭성(antipodal symmetry)을 고려할 때 성립한다.

실험 결과

연구 질문

• RQ1 스펙트럴 그래프 이론은 그래프 클러스터링에서 정규화 컷을 어떻게 최소화하는 데 활용될 수 있는가?
• RQ2 그래프 도식화의 에너지 최소화와 그래프 라플라시안을 통한 스펙트럴 클러스터링 사이의 수학적 연결 고리는 무엇인가?
• RQ3 정규화된 라플라시안 $ L_{\mathrm{sym}} $ 과 $ L_{\mathrm{rw}} $ 는 정규화 컷 목적 함수와 어떤 관계가 있는가?
• RQ4 프로젝티브 공간 $ \mathbb{RP}^n $ 의 기하학적 성질은 스펙트럴 클러스터링에서 최적의 클러스터 대표를 찾는 데 어떻게 기여하는가?
• RQ5 그래프 라플라시안의 핵(null space)은 그래프의 연결 성분 수와 어떤 관련이 있는가?

주요 결과

• 그래프의 연결 성분 수는 비정규화 그래프 라플라시안 $ L $ 의 핵(null space)의 차원과 같으며, 즉 $ \dim(\ker L) = $ 연결 성분 수이다.
• 그래프 도식화의 에너지 $ \mathcal{E}(R) = \mathrm{tr}(R^\top L R) $ 는 $ R $ 이 $ L $ 의 가장 작은 $ n $ 개의 양의 고유값에 대응하는 $ n $ 개의 고유벡터로 구성될 때 최소가 된다.
• K-방향 클러스터링의 경우, 정규화 컷 목적 함수는 $ L_{\mathrm{sym}} $ 의 첫 번째 $ K $ 개의 고유벡터를 사용하는 완화된 스펙트럴 문제를 풀어 최소화되며, 그 해는 $ \mathbb{RP}^{K-1} $ 에 투영된다.
• $ \mathbb{RP}^n $ 상의 두 점 $ [x] $ 와 $ [y] $ 사이의 거리는 $ d([x],[y]) = \cos^{-1}(|x \cdot y|) $ 로 주어지며, 이 거리의 최소화는 $ a \in A $ 에 대해 $ \min\{ \|x - a\|_2, \|x + a\|_2 \} $ 의 최소화와 등가이다.
• 집합 $ A \subseteq S^n $ 이 반대칭 사상에 대해 닫혀 있을 경우, $ \mathbb{RP}^n $ 상의 기하학적 거리 최소화 문제는 $ \mathbb{R}^{n+1} $ 상의 유클리드 거리 최소화 문제로 단순화된다. 이는 클러스터링 최적화를 간소화한다.
• 정규화 컷 목적 함수는 $ \mathbb{RP}^n $ 상의 대표 원소 선택에 대해 불변이며, 최적의 클러스터링 해는 이산 컷 문제의 연속적 리 릴랙세이션에 해당한다. 이로써 이산 해는 연속적 고유벡터 해를 라운딩하여 얻을 수 있다.