[논문 리뷰] Learning Product Graphs Underlying Smooth Graph Signals

Muhammad Asad Lodhi, Waheed U. Bajwa|arXiv (Cornell University)|2020. 02. 26.

Advanced Graph Neural Networks참고 문헌 41인용 수 5

한 줄 요약

이 논문은 선형 프로그래밍과 교대 최소화를 사용하여 부드러운 그래프 신호로부터 구조적 제품 그래프—크로네커, 카르테시안, 강한 곱 그래프—를 학습하는 새로운 방법을 제안한다. 저차원 인수분해를 활용함으로써 샘플 및 계산 복잡도를 감소시켜 최신 기술 대비 뛰어난 성능과 국소 수렴 보장을 달성한다.

ABSTRACT

Real-world data is often times associated with irregular structures that can analytically be represented as graphs. Having access to this graph, which is sometimes trivially evident from domain knowledge, provides a better representation of the data and facilitates various information processing tasks. However, in cases where the underlying graph is unavailable, it needs to be learned from the data itself for data representation, data processing and inference purposes. Existing literature on learning graphs from data has mostly considered arbitrary graphs, whereas the graphs generating real-world data tend to have additional structure that can be incorporated in the graph learning procedure. Structure-aware graph learning methods require learning fewer parameters and have the potential to reduce computational, memory and sample complexities. In light of this, the focus of this paper is to devise a method to learn structured graphs from data that are given in the form of product graphs. Product graphs arise naturally in many real-world datasets and provide an efficient and compact representation of large-scale graphs through several smaller factor graphs. To this end, first the graph learning problem is posed as a linear program, which (on average) outperforms the state-of-the-art graph learning algorithms. This formulation is of independent interest itself as it shows that graph learning is possible through a simple linear program. Afterwards, an alternating minimization-based algorithm aimed at learning various types of product graphs is proposed, and local convergence guarantees to the true solution are established for this algorithm. Finally the performance gains, reduced sample complexity, and inference capabilities of the proposed algorithm over existing methods are also validated through numerical simulations on synthetic and real datasets.

연구 동기 및 목표

• 기본 그래프가 알려져 있지 않을 때 부드러운 그래프 신호로부터 대규모 구조적 그래프를 학습하는 데 도전하는 것.
• 실제 세계의 그래프에 내재된 제품 구조를 활용하여 샘플, 메모리, 계산 복잡도를 줄이는 것.
• 크로네커, 카르테시안, 강한 곱 구조를 명시적으로 통합한 확장 가능한 그래프 학습 프레임워크를 개발하는 것.
• 제안된 교대 최소화 알고리즘에 대한 국소 수렴 보장을 설정하는 것.

제안 방법

• 최신 기술 대비 평균 성능에서 뛰어난 성능을 보이는 선형 프로그래밍으로 그래프 학습 문제를 재정의하는 것.
• 모드 간 분리 가능성을 활용하여 제품 구조 그래프의 인수 그래프를 학습하기 위한 교대 최소화 알고리즘을 제안하는 것.
• 텐서 기반 표현을 사용하여 그래프 라플라시안을 더 작은 인수 라플라시안의 크로네커 곱으로 표현하는 것.
• 목적함수를 모드별 하위문제로 분해하여 각 인수 그래프에 대한 폐쇄형 업데이트를 유도하는 것.
• 각 인수별 하위문제의 강한 볼록성을 도출하여 블록 좌표 강하 이론을 통해 선형 수렴 속도를 보장하는 것.
• 트레이스 기반 최적화와 행렬 농도 불등식을 활용하여 추정 오차를 경계하고 강인성을 확보하는 것.

실험 결과

연구 질문

• RQ1 그래프 학습을 효과적으로 선형 프로그래밍으로 재정의할 수 있을까? 이는 성능 향상과 확장성 향상에 기여하는가?
• RQ2 크로네커, 카르테시안, 강한 곱과 같은 제품 그래프 구조는 그래프 학습에서 파rameter 수를 어떻게 줄일 수 있는가?
• RQ3 제품 그래프 학습에 적용된 교대 최소화 알고리즘에 대해 어떤 수렴 보장을 설정할 수 있는가?
• RQ4 임의의 그래프 학습에 비해 제품 구조를 통합함으로써 샘플 복잡도는 어느 정도 감소하는가?
• RQ5 제안된 방법은 재현 정확도 및 추론 능력 측면에서 합성 및 실세계 데이터셋에서 어떻게 성능을 발휘하는가?

주요 결과

• 제안된 그래프 학습을 위한 선형 프로그래밍 설정은 합성 데이터에서 최신 기술 대비 더 뛰어난 평균 성능을 달성한다.
• 각 인수별 하위문제의 강한 볼록성 덕분에 교대 최소화 알고리즘이 선형 수렴 속도로 국소적으로 임계점으로 수렴한다.
• 완전한 그래프를 직접 학습하는 대신 저차원 인수 그래프를 활용함으로써 샘플 복잡도를 크게 감소시킨다.
• 수치 시뮬레이션 결과, 합성 및 실세계 데이터셋 모두에서 향상된 추론 능력과 재현 정확도를 입증한다.
• 행렬 농도 불등식을 사용하여 높은 확률로 오차 경계를 확립함으로써 데이터 샘플링 변동성에 대한 강인성을 검증한다.
• 기존 연구와 달리 이 방법은 카르테시안 곱 그래프를 넘어서 크로네커 및 강한 곱 구조까지 지원하여 일반화 능력을 갖춘다.