[논문 리뷰] Efficient Optimization for Sparse Gaussian Process Regression

Yanshuai Cao, Marcus A. Brubaker외 2명|arXiv (Cornell University)|2013. 10. 22.

Gaussian Processes and Bayesian Inference참고 문헌 13인용 수 13

한 줄 요약

이 논문은 희소 가우시안 프로세스 회귀를 위한 효율적인 최적화 알고리즘인 CholQR을 제안한다. CholQR은 부분 콜레스키 분해의 QR 분해를 사용하여 단일 목적 함수—영구 우도 또는 변분 자유 에너지—를 최적화함으로써 유도 점과 초모수를 동시에 선택한다. 이 방법은 선형 시간 및 공간 복잡도를 달성하며, 생물정보학 및 컴퓨터 비전 분야에서 기존 이산 방법들을 능가하고 연속 영역에서도 경쟁력 있는 성능을 보인다.

ABSTRACT

We propose an efficient optimization algorithm for selecting a subset of training data to induce sparsity for Gaussian process regression. The algorithm estimates an inducing set and the hyperparameters using a single objective, either the marginal likelihood or a variational free energy. The space and time complexity are linear in training set size, and the algorithm can be applied to large regression problems on discrete or continuous domains. Empirical evaluation shows state-of-art performance in discrete cases and competitive results in the continuous case.

연구 동기 및 목표

• 대규모 데이터셋에서 전체 가우시안 프로세스 회귀의 계산 비가역성 문제를 해결한다. 이는 시간 복잡도가 O(n³), 공간 복잡도가 O(n²)로 증가한다.
• 기존의 희소 GP 방법이 유도 점 선택과 초모수 최적화에 별도의 목적 함수를 사용함으로써 최적 성능을 달성하지 못하는 한계를 극복한다.
• 비차별 가능한 커널이 존재하는 경우 연속적 근사가 실패하는 경우를 포함하여 이산 및 연속 입력 영역 모두에 적용 가능한 방법을 개발한다.
• 학습 데이터 크기와 선형 복잡도를 유지하면서도 높은 예측 정확도와 원칙적인 최적화를 달성한다.
• 반복적인 개선을 통해 유도 집합을 재구성할 수 있는 통합적이고 미분 가능한 최적화 프레임워크를 제공하며, 초기화부터 다시 시작하지 않아도 된다.

제안 방법

• 부분 콜레스키 분해를 통해 전체 공분산 행렬의 저랭크 근사를 사용하여 희소 GP 회귀를 수식화한다.
• 저랭크 근사를 효율적으로 계산하고 업데이트하기 위해 QR 분해를 적용하여 목적 함수 평가를 빠르게 한다.
• 유도 점 선택과 초모수 추정을 위한 통합 목적 함수로 변분 자유 에너지 또는 영구 우도를 최적화한다.
• 기존에 선택된 유도 점들을 학습 데이터에서 더 좋은 후보로 교체하는 반복적 스왑 전략을 사용하며, 목적 함수 향상 또는 종료 보장을 한다.
• 기울기 기반 초모수 최적화를 이산 유도 점 선택과 통합하여 그리드 서치를 피하고 종단 간 학습을 가능하게 한다.
• 커널 행렬의 구조를 활용하여 알고리즘의 효율성을 유지하며, 시간 복잡도를 O(m²n)으로 유지한다. 여기서 m은 유도 점의 수이다.

실험 결과

연구 질문

• RQ1 이산 영역에서 희소 GP 회귀의 경우, 단일이고 원칙적인 목적 함수를 사용하여 유도 점과 초모수를 동시에 최적화할 수 있는가?
• RQ2 유도 점 선택의 계산 복잡도를 줄이면서도 예측 성능을 유지하거나 향상시킬 수 있는가?
• RQ3 목적 함수 향상 보장을 갖는 반복적이고 탐욕적인 유도 집합 개선 전략이 한 번에 선택하거나 무작위 선택 전략보다 우수한가?
• RQ4 학습 데이터에서 유도 점을 선택하는 방법이 연속 입력 영역에서 연속적 근사 방법과 경쟁 가능한 성능을 달성할 수 있는가?
• RQ5 실제 데이터셋에서 SPGP, IVM, CSI와 같은 기존의 희소 GP 방법들과 비교해 볼 때, 제안된 방법은 속도와 정확도 측면에서 어떻게 성과를 내는가?

주요 결과

• CholQR는 생물정보학 및 컴퓨터 비전 분야의 이산 데이터셋에서 최신 기술을 앞서는 성능을 달성하며, 탐욕적 선택 및 기준 방법보다 뚜렷이 뛰어나다.
• BindingDB 데이터셋에서 m=32개의 유도 점을 사용할 때 CholQR는 테스트 SMSE 0.157을 기록하여 CSI 및 IVM을 포함한 모든 다른 방법들을 능가했다.
• KIN40K 데이터셋에서 CholQR-VAR는 IVM 대비 테스트 SMSE를 15% 향상시켰으며, 더 큰 m일 경우 SPGP의 성능을 따라잡거나 초월했다. 더불어 훨씬 빠른 속도를 보였다.
• Snelson의 1차원 예제에서 CholQR는 나쁜 초기화로 인해 고정점에 갇히는 SPGP와 달리, 열악한 국소 최소값을 피할 수 있었다. 이는 초기화에 대한 강건성을 보여준다.
• 학습 시간은 데이터셋 크기에 따라 선형적으로 증가했으며, 성능는 그리드 서치를 사용한 CSI보다 끊임없이 뛰어났다. CSI는 훨씬 느렸다.
• 연속 영역에서는 CholQR가 변분 목적 함수를 사용할 경우 경쟁 가능한 결과를 보였으며, KIN40K에서 SNLP는 11.34로 SPGP와 유사했고, 큰 m일 경우 SPGP보다 더 낮은 SMSE를 기록했다.