[논문 리뷰] Graph Signal Processing -- Part III: Machine Learning on Graphs, from Graph Topology to Applications

Ljubiša Stanković, Danilo P. Mandic외 5명|arXiv (Cornell University)|2020. 01. 02.

Advanced Graph Neural Networks인용 수 7

한 줄 요약

이 논문은 데이터로부터 그래프 구조를 통합적으로 학습하기 위한 통합 프레임워크를 제안한다. 상관관계, 정밀도 행렬, 그리고 희박성과 스무딩 등의 구조적 제약 조건을 통합한다. 그래픽스 LASSO와 라플라시안 학습을 도입하여 그래프 구조 추론을 수행하고, 물리 시스템과 기계학습(GNN/GCN)에 적용하며, 금융(포트폴리오 컷) 및 지하철 네트워크 분석 분야에서의 응용을 보여주어 기존 방법에 비해 향상된 강인성과 성능을 확보한다.

ABSTRACT

Many modern data analytics applications on graphs operate on domains where graph topology is not known a priori, and hence its determination becomes part of the problem definition, rather than serving as prior knowledge which aids the problem solution. Part III of this monograph starts by addressing ways to learn graph topology, from the case where the physics of the problem already suggest a possible topology, through to most general cases where the graph topology is learned from the data. A particular emphasis is on graph topology definition based on the correlation and precision matrices of the observed data, combined with additional prior knowledge and structural conditions, such as the smoothness or sparsity of graph connections. For learning sparse graphs (with small number of edges), the least absolute shrinkage and selection operator, known as LASSO is employed, along with its graph specific variant, graphical LASSO. For completeness, both variants of LASSO are derived in an intuitive way, and explained. An in-depth elaboration of the graph topology learning paradigm is provided through several examples on physically well defined graphs, such as electric circuits, linear heat transfer, social and computer networks, and spring-mass systems. As many graph neural networks (GNN) and convolutional graph networks (GCN) are emerging, we have also reviewed the main trends in GNNs and GCNs, from the perspective of graph signal filtering. Tensor representation of lattice-structured graphs is next considered, and it is shown that tensors (multidimensional data arrays) are a special class of graph signals, whereby the graph vertices reside on a high-dimensional regular lattice structure. This part of monograph concludes with two emerging applications in financial data processing and underground transportation networks modeling.

연구 동기 및 목표

• 사전에 알려지지 않은 그래프 구조를 데이터로부터 학습하는 데 도전하는 것, 특히 현대 데이터 분석에서 구조가 해답의 일부인 경우에 중점을 둔다.
• 신호 유사도, 공분산/정밀도 행렬, 그리고 희박성과 스무딩과 같은 구조적 사전 지식을 사용하여 그래프 구조를 체계적으로 추론하는 접근법을 개발하는 것.
• 그래프 신경망(GNNs)과 그래프 컬러션 네트워크(GCNs)와 같은 기계학습 모델과 그래프 구조 학습을 통합하여, 이를 확산 과정으로 해석하는 것.
• 포트폴리오 최적화와 지하철 교통 네트워크 모델링 분야에서 실용적 응용을 보여주며, 기존 방법에 비해 향상된 강인성과 성능을 확보하는 것.
• 격자형 구조를 가진 그래프를 텐서 기반으로 표현하여 다차원 데이터와 내재된 관계를 모델링하기 위한 다중선형 대수 접근법을 가능하게 하는 것.

제안 방법

• 관측된 데이터의 상관관계와 정밀도 행렬을 그래프 구조 학습의 주요 척도로 활용하며, 사전 지식과 구조적 조건을 통합한다.
• 희박성을 강제하기 위해 LASSO와 그 그래프 전용 변형인 그래픽스 LASSO를 사용하며, 직관적인 유도 과정을 제공한다.
• 그래프 라플라시안에 스무딩 및 에너지 기반 제약 조건을 적용하여 물리적으로 타당하고 안정적인 구조를 확보한다.
• GNN과 GCN을 그래프 상의 확산 과정으로 모델링하여, 아키텍처 개선을 그래프 신호 확산의 관점에서 재해석한다.
• 고차원 격자형 구조를 가진 그래프에 대해 텐서 표현을 사용하여 다차원 그래프 신호의 텐서 분해와 다중선형 분석을 가능하게 한다.
• 자산 간 의존성을 모델링하고 특이 공분산 행렬을 역행렬하지 않아도 되는 낮은 분산의 강건한 투자 전략을 수립하기 위해 그래프 분할 기반의 포트폴리오 컷을 도입한다.

실험 결과

연구 질문

• RQ1 물리적 제약 조건이 없을 경우, 사전에 알려지지 않은 그래프 구조를 어떻게 데이터로부터 학습할 수 있는가?
• RQ2 상관관계와 정밀도 행렬은 그래프 구조 학습에서 어떤 역할을 하는가? 그리고 희박성과 스무딩은 어떻게 강제할 수 있는가?
• RQ3 그래프 신경망(GNNs)과 그래프 컬러션 네트워크(GCNs)의 설계는 그래프 신호 확산의 관점에서 어떻게 재해석될 수 있는가?
• RQ4 텐서 표현은 다차원 그래프 구조 데이터의 모델링을 어떻게 향상시킬 수 있는가?
• RQ5 그래프 구조 학습은 금융 포트폴리오 구성과 지하철 네트워크 취약성 분석을 어떻게 향상시킬 수 있는가?

주요 결과

• 그래픽스 LASSO와 LASSO 기반의 구조 학습은 고차원 데이터에서 희박하고 의미 있는 그래프 연결을 식별하는 데 뚜렷한 향상을 보였다.
• 제안된 그래프 자산 배분 전략은 기존의 동일 가중치 및 최소 분산 포트폴리오에 비해 항상 낮은 표본 외 분산과 높은 샤프 지수를 달성했다.
• 런던 옥수철 네트워크의 경우, 그래프 이론적 중심성 측도가 서비스 수준에 가장 큰 영향을 미치는 역의 폐쇄를 성공적으로 식별했다.
• 그래프 분할 기반의 포트폴리오 컷은 부적절한 의존성을 감소시키고, 제한된 데이터나 특이 공분산 행렬이 존재하는 상황에서도 강건한 자산 배분을 가능하게 했다.
• GCN과 GNN의 확산 과정 해석은 향후 아키텍처 설계를 위한 체계적인 기반을 제공하며, 히وري스틱 개선을 넘어서는 의미를 가진다.
• 격자형 구조를 가진 그래프의 텐서 기반 모델링은 전통적인 불균형 인접 행렬에 비해 다차원 데이터의 내재된 관계를 더 효과적으로 발견할 수 있다.