[논문 리뷰] Eigenvectors for clustering: Unipartite, bipartite, and directed graph cases

Andri Mirzal, Masashi Furukawa|arXiv (Cornell University)|2010. 05. 14.

Complex Network Analysis Techniques참고 문헌 16인용 수 4

한 줄 요약

이 논문은 비방향, 이분, 그리고 유ERIC 그래프에 걸쳐 스펙트럴 클러스터링을 통합된 이론적 프레임워크로 제공한다. 모든 경우를 대칭 유사도 행렬 위의 추적 최적화 문제로 환원함으로써, 이중 그래프에서 K-웨이 공-클러스터링은 데이터 행렬의 좌우 특이벡터를 통해 해결되며, 키 판 정리(Ky Fan theorem)를 직사각형 복소수 행렬으로 일반화하여 스펙트럴 공-클러스터링 및 유ERIC 그래프 클러스터링 알고리즘의 이론적 기반을 제공한다.

ABSTRACT

This paper presents a concise tutorial on spectral clustering for broad spectrum graphs which include unipartite (undirected) graph, bipartite graph, and directed graph. We show how to transform bipartite graph and directed graph into corresponding unipartite graph, therefore allowing a unified treatment to all cases. In bipartite graph, we show that the relaxed solution to the $K$-way co-clustering can be found by computing the left and right eigenvectors of the data matrix. This gives a theoretical basis for $K$-way spectral co-clustering algorithms proposed in the literatures. We also show that solving row and column co-clustering is equivalent to solving row and column clustering separately, thus giving a theoretical support for the claim: ``column clustering implies row clustering and vice versa''. And in the last part, we generalize the Ky Fan theorem---which is the central theorem for explaining spectral clustering---to rectangular complex matrix motivated by the results from bipartite graph analysis.

연구 동기 및 목표

• 비방향, 이분, 유ERIC 그래프에 걸쳐 스펙트럴 클러스터링의 통합된 이론적 설명을 제공하는 것.
• 이중 그래프에서 K-웨이 공-클러스터링이 데이터 행렬의 좌우 고유벡터를 통해 해결될 수 있음을 보여주는 것.
• 동시 행 및 열 클러스터링이 각각 별도로 해결하는 것과 동치임을 증명하여 '열 클러스터링은 행 클러스터링을 암시하고, 반대로도 마찬가지'라는 주장을 뒷받침하는 것.
• SVD를 사용하여 키 판 정리를 직사각형 복소수 행렬으로 일반화함으로써, 이중 및 유ERIC 그래프 설정에서의 스펙트럴 클러스터링 적용 가능성을 넓히는 것.
• 추적 최적화 및 행렬 분해를 통해 기존의 스펙트럴 공-클러스터링 및 유ERIC 그래프 클러스터링 알고리즘의 이론적 기반을 제공하는 것.

제안 방법

• 이중 및 유ERIC 그래프를 대칭 유사도 행렬로 변환하여 통합된 스펙트럴 클러스터링 처리를 가능하게 하는 것.
• 이중 공-클러스터링을 위해 데이터 행렬이 직사각형일 경우 좌우 특이벡터를 계산하기 위해 특이값 분해(SVD)를 사용하는 것.
• 단위 행렬 위의 추적 최적화 문제로 K-웨이 클러스터링을 공식화하며, 최적 해를 위한 키 판 정리를 활용하는 것.
• 에크하르트-영 정리의 추론을 통해 SVD 기반 증명을 확장하여 키 판 정리를 직사각형 복소수 행렬으로 일반화하는 것.
• 유ERIC 그래프 유사도 행렬에 대칭 변환을 적용하기 위해 행렬에 그 전치행렬을 더하는 것. 방향성 정보를 대칭 형태로 유지하는 것.
• 주요 좌우 특이벡터에서 클러스터링 지시 행렬을 유도하여 동시에 행과 열의 클러스터링을 가능하게 하는 것.

실험 결과

연구 질문

• RQ1 어떻게 동일한 수학적 프레임워크를 통해 비방향, 이분, 유ERIC 그래프에 걸쳐 스펙트럴 클러스터링을 통일적으로 적용할 수 있는가?
• RQ2 이중 데이터 행렬에서 행과 열을 동시에 클러스터링하는 스펙트럴 공-클러스터링 알고리즘의 이론적 기반은 무엇인가?
• RQ3 왜 이중 그래프에서 행과 열의 클러스터링을 별도로 해결하는 것이 동시에 해결하는 것과 동치인가?
• RQ4 스펙트럴 클러스터링이 이중 및 유ERIC 설정에서 적용 가능하도록 하기 위해 키 판 정리를 어떻게 직사각형 복소수 행렬으로 일반화할 수 있는가?
• RQ5 SVD와 행렬 분해는 비정사각형 데이터 행렬에 대한 최적의 클러스터링 해를 유도하는 데 어떤 역할을 하는가?

주요 결과

• 이중 그래프에서 K-웨이 공-클러스터링은 데이터 행렬의 첫 번째 K개의 좌우 특이벡터를 계산함으로써 최적해를 얻으며, 이는 스펙트럴 공-클러스터링 알고리즘의 이론적 근거를 제공한다.
• 동시 행 및 열 클러스터링은 각각 별도로 해결하는 것과 동치이며, '열 클러스터링은 행 클러스터링을 암시하고, 반대로도 마찬가지'라는 주장을 검증한다.
• SVD를 통해 키 판 정리를 직사각형 복소수 행렬으로 일반화함으로써, 비정사각형 및 유ERIC 그래프 설정에서의 스펙트럴 클러스터링에 대한 이론적 기반을 확립한다.
• 유ERIC 그래프 유사도 행렬을 행렬에 그 전치행렬을 더하여 대칭화함으로써 방향성 정보를 유지하고, 표준 스펙트럴 클러스터링 방법을 적용할 수 있게 한다.
• 제안된 프레임워크는 비방향, 이분, 유ERIC 그래프의 모든 유형에 대해 스펙트럴 클러스터링이 대칭 행렬 위의 추적 최적화 문제로 환원됨을 보여주며, 통합된 알고리즘 처리를 가능하게 한다.
• SVD 기반 해법이 에크하르트-영 정리의 추론임을 증명함으로써, 이 접근법의 수학적 일관성을 강화한다.