[논문 리뷰] Random walk kernels and learning curves for Gaussian process regression on random graphs

Matthew Urry, Peter Sollich|arXiv (Cornell University)|2012. 11. 06.

Gaussian Processes and Bayesian Inference인용 수 7

한 줄 요약

이 논문은 랜덤 워크 커널을 사용하여 대규모이고 국소적으로 나무 구조를 가진 무작위 그래프에서 가우시안 프로세스 회귀를 연구하며, 커널의 전역 정규화가 정점 간에 매우 변동성이 큰 사전 분산을 초래함으로써 확률적 모델링을 약화시킨다는 것을 보여준다. 저자들은 사전 분산을 균일하게 유지하기 위해 국소 정규화를 제안하고, 신뢰도 기반 방법을 통해 학습 곡선을 정확하게 예측하는 방법을 개발하며, 정규화가 일치하지 않을 경우 국소적 기여로 인해 비단조화적 학습 곡선과 최대값이 나타남을 보여준다.

ABSTRACT

We consider learning on graphs, guided by kernels that encode similarity between vertices. Our focus is on random walk kernels, the analogues of squared exponential kernels in Euclidean spaces. We show that on large, locally treelike, graphs these have some counter-intuitive properties, specifically in the limit of large kernel lengthscales. We consider using these kernels as covariance matrices of e.g.\\ Gaussian processes (GPs). In this situation one typically scales the prior globally to normalise the average of the prior variance across vertices. We demonstrate that, in contrast to the Euclidean case, this generically leads to significant variation in the prior variance across vertices, which is undesirable from the probabilistic modelling point of view. We suggest the random walk kernel should be normalised locally, so that each vertex has the same prior variance, and analyse the consequences of this by studying learning curves for Gaussian process regression. Numerical calculations as well as novel theoretical predictions for the learning curves using belief propagation make it clear that one obtains distinctly different probabilistic models depending on the choice of normalisation. Our method for predicting the learning curves using belief propagation is significantly more accurate than previous approximations and should become exact in the limit of large random graphs.

연구 동기 및 목표

• 대규모이고 국소적으로 나무 구조를 가진 무작위 그래프에서 랜덤 워크 커널의 행동을 분석하는 것.
• 전역 커널 정규화의 한계를 특정화하여, 균일한 스케일링에도 불구하고 정점 간에 사전 분산의 상당한 변동성을 초래한다는 점을 밝혀내는 것.
• 각 정점에서 동일한 사전 분산을 보장하기 위해 랜덤 워크 커널의 국소 정규화를 제안하고 분석하는 것.
• 그래프에서 GP 회귀의 정확한 학습 곡선 예측을 위한 신뢰도 기반 방법을 개발하는 것.
• 교사 모델과 학생 모델 간의 정규화 불일치가 학습 곡선 행동에 미치는 영향을 조사하는 것.

제안 방법

• 정점 간 유사도를 제어하는 커널 길이 척도를 갖는 랜덤 워크 커널을 GP 회귀의 공분산 함수로 사용한다.
• 각 정점이 동일한 사전 분산을 갖도록 커널의 국소 정규화를 제안하며, 평균 분산으로 정규화하는 기존의 전역 정규화와 대비한다.
• 학습 곡선에 대한 정확한 예측을 도출하기 위해 신뢰도 기반 방법을 적용하며, 고유값 기반 근사의 한계를 넘어서는 데 기여한다.
• 공백 방법과 신뢰도 기반 방법을 사용하여 학습 곡선의 해석적 표현을 유도하고, 수치 시뮬레이션과 검증한다.
• 전역 정규화와 국소 정규화 커널을 사용한 GP 회귀를 비교하여 정규화 불일치 시나리오를 모델링하고, 그로 인한 예측 행동을 분석한다.
• 가짜 훈련 출력과 유효 예측 벡터를 사용하여, 불일치 설정에서 학습 곡선 최대값의 기원을 해석한다.

실험 결과

연구 질문

• RQ1 랜덤 워크 커널의 전역 정규화는 랜덤 그래프에서 GP 회귀의 사전 분산 분포에 어떻게 영향을 미치는가?
• RQ2 왜 전역 정규화는 국소적으로 나무 구조를 가진 그래프에서 정점 간에 바람직하지 않은 사전 분산의 변동성을 초래하는가?
• RQ3 랜덤 워크 커널의 국소 정규화를 사용할 경우 GP 회귀의 학습 곡선에 어떤 영향을 미치는가?
• RQ4 전역 정규화(교사)와 국소 정규화(학생) 간의 불일치가 학습 곡선의 형태와 일반화 오차에 어떤 영향을 미치는가?
• RQ5 이산적이고 그래프 구조를 가진 입력 공간에서, 고유값 기반 근사보다 신뢰도 기반 방법이 더 정확한 학습 곡선 예측을 제공할 수 있는가?

주요 결과

• 전역 정규화는 대규모이고 국소적으로 나무 구조를 가진 그래프에서 정점 간에 매우 비균일한 사전 분산을 초래하며, 유클리드 공간에서의 기대와는 정반대이다.
• 커널의 국소 정규화는 모든 정점에서 균일한 사전 분산을 보장하여, 그래프에서의 GP 회귀에 대해 더 일관된 확률 모델을 제공한다.
• 신뢰도 기반 학습 곡선 예측은 고유값 기반 근사보다 훨씬 정확하며, 특히 중간 영역에서 두드러진다.
• 전역 정규화(교사)와 국소 정규화(학생) 간의 불일치가 발생할 경우 학습 곡선은 비단조화적이 되며 최대값을 보인다.
• 학습 곡선의 최대값은 그래프의 끝부분 또는 경계 영역의 끈적한 간선에서 발생하는 국소적 예측 벡터 기여로 인해 발생한다.
• 수치 시뮬레이션은 신뢰도 기반 방법이 학습 곡선 행동을 정확히 캐릭터라이즈하며 이전의 근사보다 더 높은 일치도를 보임을 확인한다.