[논문 리뷰] A Note on Spectral Clustering and SVD of Graph Data

Ziwei Zhang|arXiv (Cornell University)|2018. 09. 27.

Advanced Graph Neural Networks참고 문헌 5인용 수 4

한 줄 요약

이 논문은 스펙트럴 클러스터링과 SVD 간의 정확한 수학적 연결고리를 그래프 데이터에서 밝혀내며, 스펙트럴 클러스터링이 그래프에서 가장 스무스한 신호 기저를 식별하는 반면, 정규화된 인cidience 행렬 A_rw의 SVD는 스무스한 신호 성분뿐 아니라 진동하는 성분까지 포괄한다는 것을 보여준다. 핵심 통찰은 스펙트럴 클러스터링이 A_rw의 상위-k SVD와 일치하는 것은 그 상위-k 고유값이 모두 양수일 때에만 성립하며, 이는 실제 그래프에서는 거의 발생하지 않기 때문에 그래프 신호 처리를 통한 재해석이 필요하다.

ABSTRACT

Spectral clustering and Singular Value Decomposition (SVD) are both widely used technique for analyzing graph data. In this note, I will present their connections using simple linear algebra, aiming to provide some in-depth understanding for future research.

연구 동기 및 목표

• 그래프 데이터에서 스펙트럴 클러스터링과 SVD 간의 이론적 관계를 명확히 하는 것.
• 스펙트럴 클러스터링이 정규화된 인cidience 행렬 A_rw의 최적의 랭크-k 근사에 SVD를 통해 대응한다는 일반적인 오해를 해결하는 것.
• A_rw의 고유값의 부호 분포에 따라 스펙트럴 클러스터링과 SVD 간의 연결고리가 달라지며, 이는 종종 양수가 아님을 보여주는 것.
• 그래프 신호 처리를 통한 스펙트럴 클러스터링의 재해석을 통해 그래프 신호의 스무스함과 연결짓는 것.

제안 방법

• 정규화된 라플라시안 행렬 L_rw = I - D^(-1)A를 유도하고, 이를 그래프에서의 랜덤 워크와 연결한다.
• Eckart-Young 정리를 적용하여 상위-k SVD가 프레베니우스 노름에서 어떤 행렬의 최적의 랭크-k 근사임을 보여준다.
• 정리 1을 사용하여 상위-k SVD와 절댓값 크기 순서로 정렬된 상위-k EVD 간의 동치성을 부호 차이를 제외하고 유추한다.
• A_rw = D^(-1)A의 고유값 구조를 분석하고, L_rw의 최소 고유값은 A_rw의 최대 양수 고유값(근처 1)에 대응하고, L_rw의 최대 고유값은 A_rw의 최소 음수 고유값(근처 -1)에 대응함을 보여준다.
• 스펙트럴 클러스터링을 L_rw의 최소 고유값에 해당하는 가장 스무스한 신호 기저를 선택하는 것으로 재해석한다.
• A_rw의 SVD가 가장 스무스한 신호 기저뿐 아니라 가장 비스무스한 신호 기저까지 포괄함을 확립한다. 이는 A_rw의 상위-k 고유값의 절댓값 크기에 대응한다.

실험 결과

연구 질문

• RQ1 스펙트럴 클러스터링은 SVD를 통해 정규화된 인cidience 행렬 A_rw의 최적의 랭크-k 근사와 일치하는가?
• RQ2 왜 일반적으로 스펙트럴 클러스터링이 A_rw의 상위-k SVD와 동일시되는 것으로 간주되는 것이 잘못된가?
• RQ3 A_rw의 고유값이 모두 양수가 아닐 경우, 스펙트럴 클러스터링과 SVD 간의 진정한 관계는 무엇인가?
• RQ4 A_rw와 L_rw의 고유값 및 고유벡터는 그래프에서의 신호 스무스함과 어떻게 관련이 있는가?
• RQ5 그래프 신호 처리는 스펙트럴 클러스터링과 SVD 간의 연결고리를 더 정확히 해석할 수 있는가?

주요 결과

• 스펙트럴 클러스터링은 정규화된 라플라시안 L_rw의 최소 고유값에 대응하는 고유벡터에 의해 결정되며, 이는 가장 스무스한 그래프 신호를 나타낸다.
• 정규화된 인cidience 행렬 A_rw의 상위-k SVD는 A_rw의 상위-k 고유값의 절댓값 크기에 따라 결정되며, 수치적 크기 순서가 아니라 절댓값 순서이다.
• X_sc Λ_sc X_sc^T 가 A_rw의 최적의 랭크-k 근사임을 주장하는 것은 A_rw의 상위-k 고유값이 모두 양수일 경우에만 성립하며, 이는 실제 그래프에서는 거의 성립하지 않는다.
• 실제 그래프에서는 A_rw의 약 절반의 고유값이 양수이고 나머지 절반은 음수이므로, 단순한 SVD 동치성은 성립하지 않는다.
• L_rw의 최소 고유값은 A_rw의 최대 양수 고유값(근처 1)에 대응하고, L_rw의 최대 고유값은 A_rw의 최소 음수 고유값(근처 -1)에 대응한다.
• 따라서 A_rw의 SVD는 스무스한 성분과 비스무스한 성분을 모두 포괄하지만, 스펙트럴 클러스터링은 오직 가장 스무스한 성분들만 포괄한다.