[논문 리뷰] Orthogonally Decoupled Variational Gaussian Processes

Hugh Salimbeni, Ching-An Cheng외 2명|arXiv (Cornell University)|2018. 09. 24.

Gaussian Processes and Bayesian Inference인용 수 23

한 줄 요약

이 논문은 평균 함수를 결합된 부분과 직교 잔차 부분으로 분리하는 새로운 RKHS 매개변수화인 수직 분리된 변분 가우시안 프로세스를 제안한다. 이는 자연 기울기 최적화를 효율적으로 가능하게 하며, 정보 기하학을 활용함으로써 기존의 표준 결합형 및 사전 분리형 접근 방식보다 더 빠른 수렴 속도와 뛰어난 성능을 달성한다. 이 방법은 평균 매개변수에 대해 선형 복잡도를 유지하면서도 효과적인 최적화를 가능하게 한다.

ABSTRACT

Gaussian processes (GPs) provide a powerful non-parametric framework for reasoning over functions. Despite appealing theory, its superlinear computational and memory complexities have presented a long-standing challenge. State-of-the-art sparse variational inference methods trade modeling accuracy against complexity. However, the complexities of these methods still scale superlinearly in the number of basis functions, implying that that sparse GP methods are able to learn from large datasets only when a small model is used. Recently, a decoupled approach was proposed that removes the unnecessary coupling between the complexities of modeling the mean and the covariance functions of a GP. It achieves a linear complexity in the number of mean parameters, so an expressive posterior mean function can be modeled. While promising, this approach suffers from optimization difficulties due to ill-conditioning and non-convexity. In this work, we propose an alternative decoupled parametrization. It adopts an orthogonal basis in the mean function to model the residues that cannot be learned by the standard coupled approach. Therefore, our method extends, rather than replaces, the coupled approach to achieve strictly better performance. This construction admits a straightforward natural gradient update rule, so the structure of the information manifold that is lost during decoupling can be leveraged to speed up learning. Empirically, our algorithm demonstrates significantly faster convergence in multiple experiments.

연구 동기 및 목표

• 비볼록성과 악조건 문제로 인해 기존의 분리된 변분 가우시안 프로세스 방법이 최적화에 어려움을 겪고 성능이 열등한 문제를 해결하기 위해.
• 표현력 있는 평균 함수 모델링을 선형 복잡도의 평균 매개변수로 유지하면서도 희소 변분 추론의 이점을 그대로 유지하기 위해.
• 정보 다양체의 구조를 활용하여 효율적인 자연 기울기 갱신을 가능하게 하는 매개변수화를 개발하기 위해.
• 고정된 계산 예산 하에서 제안된 방법이 표준 결합형 및 사전 분리형 수식보다 우수한 성능을 보임을 입증하기 위해.
• 수직 분해된 평균 함수가 표준 결합형 접근 방식이 놓친 잔차 함수 성분을 포착할 수 있음을 보여주기 위해.

제안 방법

• 평균 함수를 공유 기저를 가진 공통 부분과 직교 잔차 부분으로 분해하는 새로운 RKHS 매개변수화를 제안한다.
• 표준 결합형 접근 방식이 포착하지 못하는 함수 성분을 모델링하기 위해 직교 기저를 사용하여 표현 능력 손실 없이 보존한다.
• 결합된 부분과 잔차 부분에 대해 독립적인 갱신이 가능한 자연 기울기 갱신 규칙을 유도하여 더 빠른 수렴을 가능하게 한다.
• 정보 다양체의 구조를 활용하여 기하학적 효율성을 유지하고, 이전의 분리형 방법에서 발생하는 악조건 문제를 피한다.
• 결합된 부분에 대해 자연 기울기 경사하강법을, 잔차 부분에 대해 기능적 기울기 경사하강법을 조합한 하이브리드 최적화 전략을 사용한다.
• 평균 매개변수의 수에 대해 선형 복잡도를 유지하여 표현력 있는 사후 평균 함수의 스케일러블한 모델링을 가능하게 한다.

실험 결과

연구 질문

• RQ1 RKHS 내에서 수직 매개변수화를 활용함으로써 분리된 GP 수식이 더 빠른 수렴과 향상된 성능를 달성할 수 있는가?
• RQ2 제안된 방법이 예측 정확도와 최적화 안정성 측면에서 표준 결합형 및 사전 분리형 GP 방법보다 뛰어나게 성능을 발휘하는가?
• RQ3 수직 분해를 통해 분리된 GP 프레임워크에 자연 기울기 갱신을 효율적으로 적용할 수 있는가?
• RQ4 수직 잔차 성분이 표준 결합형 접근 방식이 놓친 함수 성분을 포착할 수 있는가?
• RQ5 기존 대안 대비 고정된 계산 예산 하에서 제안된 방법이 확장 가능하고 효과적인가?

주요 결과

• 제안된 수직 분리된 GP 방법은 여러 회귀 및 분류 벤치마크에서 원래의 분리된 수식보다 뚜렷이 더 빠른 수렴 속도를 보였다.
• kin40k 데이터셋에서, 이 방법은 테스트 RMSE 0.1740을 기록하여 결합형 방법(0.1887)과 원래의 분리된 방법(0.1885)을 모두 앞섰다.
• 분류 작업에서는 자연 기울기와 수직 기저를 사용한 OrthNat 버전이 테스트 세트에서 평균 정확도 89.0%를 달성하여 다음으로 우수한 방법(89.9% 평균 순위)과 원래의 분리된 방법을 모두 능가했다.
• 이 방법은 더 뛰어난 로그우도 성능를 보였으며, 평균 테스트 로그우도는 -0.5660이었고, 이는 결합형 방법(-0.4653)과 원래의 분리된 방법보다 유의미하게 뛰어났다.
• 수직 잔차 성분은 표준 결합형 접근 방식이 놓친 함수 성분을 포착하여 계산 복잡도 증가 없이도 더 뛰어난 모델링 능력을 제공한다.
• 자연 기울기 갱신 규칙은 더 빠른 수렴을 가능하게 하고, 이전의 분리된 방법에서 발생하는 악조건 문제를 피함으로써 더 안정적이고 효과적인 최적화를 이룬다.