[논문 리뷰] Learning Graphs from Signal Observations under Smoothness Prior.

Xiaowen Dong, Dorina Thanou외 2명|arXiv (Cornell University)|2014. 06. 30.

Advanced Graph Neural Networks참고 문헌 39인용 수 19

한 줄 요약

이 논문은 잠재 변수에 대한 가우시안 사전확률을 통해 신호의 스무스함을 강제함으로써 신호 관측치로부터 의미 있는 그래프 구조를 추론하는 그래프 학습 프레임워크를 제안한다. 이 방법은 유추된 그래프 상에서 신호 변동을 최소화하는 최적화 문제로 그래프 학습을 공식화하여, 합성 및 실세계 데이터에서 효과적인 구조 추론을 보여준다.

ABSTRACT

The construction of a meaningful graph plays a crucial role in the success of many graph-based data representations and algorithms, especially in the emerging field of signal processing on graphs. However, a meaningful graph is not always readily available from the data, nor easy to define depending on the application domain. In this paper, we address the problem of graph learning, where we are interested in learning graph topologies, namely, the relationships between data entities, that well explain the signal observations. In particular, we want to infer a graph such that the input data forms graph signals with smooth variations on the resulting topology. To this end, we adopt a factor analysis model for the graph signals and impose a Gaussian probabilistic prior on the latent variables that control these graph signals. We show that the Gaussian prior leads to an efficient representation that favors the smoothness property of the graph signals. We then propose an algorithm for learning graphs that enforce such smoothness property for the signal observations by minimizing the variations of the signals on the learned graph. Experiments on both synthetic and real world data demonstrate that the proposed graph learning framework can efficiently infer meaningful graph topologies from only the signal observations.

연구 동기 및 목표

• 기존의 구조적 정보가 없거나 모호할 때 의미 있는 그래프를 구성하는 데 도전하는 것.
• 신호의 변동에서 스무스함을 강제함으로써 관측된 그래프 신호를 가장 잘 설명하는 그래프 구조를 추론하는 것.
• 신호의 확률적 모델링에 기반한 스케일러블하고 효율적인 그래프 학습 알고리즘을 개발하는 것.

제안 방법

• 잠재 변수를 통해 그래프 신호를 표현하기 위해 요인 분석 모델을 채택한다.
• 유도되는 그래프 신호에서 스무스함을 촉진하기 위해 잠재 변수에 가우시안 확률적 사전확률을 적용한다.
• 유추된 그래프 구조 상에서의 신호 변동을 최소화하는 최적화 문제로 그래프 학습 문제를 공식화한다.
• 가우시안 사전확률의 성질을 활용하여 효율적인 계산과 수렴을 가능하게 한다.
• 그래프 구조와 잠재 신호 표현을 동시에 추정하기 위한 반복 알고리즘을 제안한다.
• 이 방법은 데이터 기반으로 설계되어 사전 그래프 지식이 필요 없이 관측된 신호에만 의존한다.

실험 결과

연구 질문

• RQ1 기존의 구조적 정보 없이도 신호 관측치만으로 그래프를 효과적으로 학습할 수 있는가?
• RQ2 구조 추론 과정에서 그래프 상의 신호 스무스함을 어떻게 강제할 수 있는가?
• RQ3 어떤 확률적 모델이 스무스함 제약 조건 하에서 효율적이고 정확한 그래프 학습을 가능하게 하는가?
• RQ4 기존의 그래프 학습 접근법과 비교해 본다면, 제안된 방법은 구조 품질과 신호 표현 측면에서 어떻게 다른가?

주요 결과

• 제안된 방법은 사전 구조 지식이 없는 상황에서도 오직 신호 관측치만으로 의미 있는 그래프 구조를 성공적으로 추론한다.
• 잠재 변수에 대한 가우시안 사전확률이 유추된 그래프 상에서 신호 변동의 스무스함을 효과적으로 촉진하여 기본적인 스무스함 가정과 일치한다.
• 알고리즘이 효율적으로 수렴하며 합성 및 실세계 데이터셋 모두에 대해 잘 스케일링된다.
• 경험적 결과는 기준 방법과 비교해 유추된 그래프가 더 나은 신호 표현과 낮은 변동성을 제공함을 보여준다.
• 다양한 데이터 유형에서 뛰어난 성능을 보이며 일반화 가능성의 타당성을 확인한다.