[논문 리뷰] Kernel Regression for Signals over Graphs.

Arun Venkitaraman, Saikat Chatterjee외 1명|arXiv (Cornell University)|2017. 06. 07.

Advanced Graph Neural Networks참고 문헌 60인용 수 5

한 줄 요약

이 논문은 그래프 위의 신호를 위한 커널 회귀를 제안하며, 스무딩을 강제하고 노이즈 감소를 달성하기 위해 그래프 라플라시안 정규화를 활용한다. 기존의 회귀 방법보다 성능 향상을 보이며, 특히 소규모 또는 노이즈가 많은 학습 데이터에서 뛰어난 성능을 보이며, 제한된 샘플에서도 기저 그래프 구조를 드러낸다.

ABSTRACT

We propose kernel regression for signals over graphs. The optimal regression coefficients are learnt using the assumption that the target vector is a smooth signal over an underlying graph. The condition is imposed using a graph-Laplacian based regularization. We discuss how the proposed kernel regression exhibits a smoothing effect, simultaneously achieving noise-reduction and graph-smoothness. We further extend the kernel regression to simultaneously learn the underlying graph and the regression coefficients. We validate our theory by application to various synthesized and real-world graph signals. Our experiments show that kernel regression over graphs outperforms conventional regression, particularly for small sized training data and under noisy training. We also observe that kernel regression reveals the structure of the underlying graph even with a small number of training samples.

연구 동기 및 목표

• 기저 그래프 위에서 스무딩을 그래프 라플라시안 정규화를 통해 강제함으로써 그래프 신호를 모델링하는 회귀 프레임워크를 개발하는 것.
• 그래프 신호 회귀에서 노이즈가 많거나 데이터가 제한된 학습 데이터 문제를 다루는 것.
• 데이터로부터 기저 그래프 구조와 회귀 계수를 동시에 학습하는 것.
• 합성 및 실세계 그래프 신호에서 방법을 검증하여 강건성과 구조 복원 능력을 입증하는 것.

제안 방법

• 기저 그래프 위에서 목표 신호가 스무딩되도록 보장하기 위해 그래프 라플라시안 기반 정규화를 사용하는 커널 회귀를 수립한다.
• 데이터 적합성과 그래프 스무딩 항을 조합한 손실 함수를 최소화하여 회귀 계수를 최적화한다.
• 그래프 구조와 회귀 계수를 반복적으로 추정하는 공동 학습 프레임워크를 도입한다.
• 비선형 관계를 가능하게 하기 위해 신호를 재생성 핵심 힐버트 공간으로 매핑하기 위해 커널화된 표현을 활용한다.
• 고주파 변동을 방지하기 위해 그래프 라플라시안을 사전 조건으로 사용하여 스무딩을 촉진한다.
• 적합성과 스무딩의 균형을 이루기 위해 정규화된 최소화 문제를 해결하기 위한 최적화 기법을 적용한다.

실험 결과

연구 질문

• RQ1 소규모 또는 노이즈가 많은 학습 세트에서 그래프 기반 커널 회귀는 신호 구조를 유지하면서 효과적으로 노이즈를 감소시킬 수 있는가?
• RQ2 제한된 학습 샘플에서 기저 그래프 토폴로지 복원 능력은 어느 정도인가?
• RQ3 그래프 라플라시안 정규화를 통합함으로써 기존 방법보다 회귀 성능 향상이 이루어지는가?
• RQ4 그래프 구조와 회귀 계수의 공동 학습이 모델 일반화 능력을 어느 정도 향상시키는가?

주요 결과

• 커널 회귀는 학습 데이터가 소규모이거나 노이즈가 많을 경우 기존의 회귀 방법보다 뚜렷이 뛰어난 성능을 보인다.
• 그래프 스무딩 제약 조건을 통해 노이즈 감소를 효과적으로 달성하면서도 신호의 정확성을 유지한다.
• 매우 적은 학습 샘플조차도 알고리즘이 진정한 기저 그래프 구조를 성공적으로 드러낸다.
• 그래프와 회귀 계수의 공동 학습은 데이터 특성에 맞게 그래프를 적응시키므로 성능 향상에 기여한다.
• 합성 및 실세계 신호에 대한 실험을 통해 방법의 강건성과 일반화 능력이 확인된다.
• 커널 회귀의 스무딩 효과는 분산 감소와 예측 정확도 향상으로써 경험적으로 검증된다.