[논문 리뷰] Graph Signal Processing -- Part I: Graphs, Graph Spectra, and Spectral Clustering

Ljubiša Stanković, Danilo P. Mandic외 4명|arXiv (Cornell University)|2019. 07. 08.

Advanced Graph Neural Networks인용 수 11

한 줄 요약

이 논문은 선형 대수학을 통해 그래프 위상 구조를 체계화함으로써 그래프 신호 처리를 위한 기초 프레임워크를 제안한다. 그래프 라플라시안과 인접 행렬의 고유분해를 통한 스펙트럼 분석이 가능해지며, 라플라시안 고유맵을 통한 스펙트럼 클러스터링과 차원 축소 기법이 수립된다. 정점 재정렬 하에서도 그래프 구조와 신호 특성이 유지됨을 보이며, 주요 결과로는 정규화 컷 기반 클러스터링에서 티드러(Feidler) 벡터의 유용성이 입증된다.

ABSTRACT

The area of Data Analytics on graphs promises a paradigm shift as we approach information processing of classes of data, which are typically acquired on irregular but structured domains (social networks, various ad-hoc sensor networks). Yet, despite its long history, current approaches mostly focus on the optimization of graphs themselves, rather than on directly inferring learning strategies, such as detection, estimation, statistical and probabilistic inference, clustering and separation from signals and data acquired on graphs. To fill this void, we first revisit graph topologies from a Data Analytics point of view, and establish a taxonomy of graph networks through a linear algebraic formalism of graph topology (vertices, connections, directivity). This serves as a basis for spectral analysis of graphs, whereby the eigenvalues and eigenvectors of graph Laplacian and adjacency matrices are shown to convey physical meaning related to both graph topology and higher-order graph properties, such as cuts, walks, paths, and neighborhoods. Next, to illustrate estimation strategies performed on graph signals, spectral analysis of graphs is introduced through eigenanalysis of mathematical descriptors of graphs and in a generic way. Finally, a framework for vertex clustering and graph segmentation is established based on graph spectral representation (eigenanalysis) which illustrates the power of graphs in various data association tasks. The supporting examples demonstrate the promise of Graph Data Analytics in modeling structural and functional/semantic inferences. At the same time, Part I serves as a basis for Part II and Part III which deal with theory, methods and applications of processing Data on Graphs and Graph Topology Learning from data.

연구 동기 및 목표

• 비정규적이고 구조화된 도메인에서의 데이터 분석을 뒷받기기 위한 그래프 위상의 통합된 선형 대수적 형식을 수립하기 위해.
• 그래프 라플라시안과 인접 행렬의 고유값과 고유벡터가 컷, 산책, 이웃 관계와 같은 그래프 구조와 관련된 물리적 의미를 지닌다는 것을 보여주기 위해.
• 그래프 라플라시안 고유분석 기반으로 스펙트럼 클러스터링과 차원 축소 기법을 개발하여 강력한 데이터 연관성 및 세그멘테이션을 가능하게 하기 위해.
• 정점 재정렬 하에서도 그래프 신호 처리가 구조적 기술자들을 유지함으로써 고전적 방법의 한계를 극복한다는 것을 보여주기 위해.
• 제2부 및 제3부를 위한 이론적 기초를 마련하여, 그래프 상의 신호 처리와 데이터로부터의 위상학적 학습에 집중하기 위해.

제안 방법

• 그래프 라플라시안과 인접 행렬의 고유분해를 사용하여 그래프 위상의 스펙트럼 기술자를 추출한다.
• 주요 고유벡터, 특히 정규화된 라플라시안을 통한 티드러 벡터를 효율적으로 계산하기 위해 파wr 메서드를 적용한다.
• 라플라시안의 두 번째로 작은 고유값에 해당하는 티드러 벡터를 사용하여 정규화 컷 기반으로 정점들을 클러스터로 분할하는 스펙트럼 클러스터링을 시행한다.
• 정점의 차원 축소를 위해 라플라시안 고유맵을 구현하며, 국소적 구조를 유지하는 저차원 스펙트럼 공간으로 정점들을 매핑한다.
• 두 가지 임베딩 매핑을 도입한다: 라플라시안의 의사역행렬 기반의 도착 시간(Commute time)과 정규화된 라플라시안의 거듭제곱을 통한 확산 매핑(Diffusion mapping).
• 클러스터링 및 시각화의 정확도를 향상시키기 위해 정규화된 고유벡터와 다양한 정규화 기법(예: L2, 이진, 마진)을 사용한다.

실험 결과

연구 질문

• RQ1 비정규적 도메인에서의 데이터 분석을 지원하기 위해 그래프 위상은 어떻게 선형 대수학적으로 체계화될 수 있는가?
• RQ2 그래프 라플라시안과 인접 행렬의 고유값과 고유벡터에 어떤 물리적 및 구조적 정보가 포함되어 있는가?
• RQ3 그래프 라플라시안 고유분해에서 스펙트럼 클러스터링을 체계적으로 유도하여 강력한 정점 분할을 가능하게 할 수 있는가?
• RQ4 정점 재정렬 또는 변환 하에서도 스펙트럼 임베딩은 그래프 구조와 신호 특성을 어떻게 유지하는가?
• RQ5 그래프 구조 데이터 상에서 직접적으로 차원 축소, 추정, 클러스터링을 지원하기 위해 그래프 신호 처리는 어떻게 확장될 수 있는가?

주요 결과

• 그래프 라플라시안의 두 번째로 작은 고유값에서 유도된 티드러 벡터는 정규화 컷 기준에 따라 정점들을 두 개의 클러스터로 최적의 분할을 제공한다.
• 티드러 벡터 기반 스펙트럼 클러스터링은 정점 순서가 바뀌어도 고전적 클러스터링 방법과 달리 높은 품질의 세그멘테이션을 달성한다.
• 라플라시안 고유맵은 그래프 내 국소적 이웃 관계를 유지하므로, 그래프 구조 데이터의 효과적인 차원 축소 및 시각화를 가능하게 한다.
• 라플라시안의 의사역행렬과 행렬의 거듭제곱을 각각 기반으로 유도된 도착 시간 및 확산 매핑은 그래프 거리에 대한 의미 있는 기하학적 해석을 제공한다.
• 스펙트럼 벡터의 정규화(예: L2, 이진, 마진)는 클러스터링 성능 향상과 시각화 명확도 향상에 크게 기여한다.
• 이 프레임워크는 다양한 정점 순서에 걸쳐 일관되고 동형적인 그래프 기술자 표현을 가능하게 하여 데이터 분석 파이프라인의 강건성을 확보한다.