[논문 리뷰] Greedy Block Coordinate Descent for Large Scale Gaussian Process Regression

Liefeng Bo, Cristian Sminchisescu|arXiv (Cornell University)|2012. 06. 13.

Gaussian Processes and Bayesian Inference참고 문헌 31인용 수 15

한 줄 요약

이 논문은 탐욕스러운 활성 집합 선택을 통해 작은 부분문제를 반복적으로 해결함으로써 대규모 가우시안 프로세스 회귀를 가속화하는 변수 분해 방법인 탐욕스러운 블록 좌표 강하(GBCD)를 제안한다. 목적 함수 감소를 직접 추정함으로써 GBCD는 전역 수렴을 달성하며, 100,000개 샘플 이하의 데이터셋에서 케이스 기반 경량화 방법과 비교해 최대 10배의 속도 향상을 보이며 높은 정확도를 유지한다.

ABSTRACT

We propose a variable decomposition algorithm -greedy block coordinate descent (GBCD)- in order to make dense Gaussian process regression practical for large scale problems. GBCD breaks a large scale optimization into a series of small sub-problems. The challenge in variable decomposition algorithms is the identification of a subproblem (the active set of variables) that yields the largest improvement. We analyze the limitations of existing methods and cast the active set selection into a zero-norm constrained optimization problem that we solve using greedy methods. By directly estimating the decrease in the objective function, we obtain not only efficient approximate solutions for GBCD, but we are also able to demonstrate that the method is globally convergent. Empirical comparisons against competing dense methods like Conjugate Gradient or SMO show that GBCD is an order of magnitude faster. Comparisons against sparse GP methods show that GBCD is both accurate and capable of handling datasets of 100,000 samples or more.

연구 동기 및 목표

• 대규모 데이터셋에서 조밀한 가우시안 프로세스 회귀의 계산 불가능성을 해결하기 위해.
• 블록 좌표 강하 방법에서 최적의 부분문제(활성 집합)를 선택하는 데 도전 과제를 극복하기 위해.
• 스pars성 방법의 근사 오차를 피하면서도 확장 가능하고 전역 수렴 보장이 되는 조밀한 GP 회귀를 위한 알고리즘 개발을 위해.
• 기존의 조밀한 해법인 켈리지 방법과 SMO에 비해 빠른 속도 향상을 달성하면서도 예측 정확도를 유지하기 위해.

제안 방법

• GBCD는 매 반복에서 갱신할 변수의 블록을 선택함으로써 대규모 최적화 문제를 순차적인 작은 부분문제로 분해한다.
• 활성 집합 선택은 목적 함수 감소를 최대화하기 위해 0-노름 제약 조건을 가진 최적화 문제로 공식화된다.
• 목적 함수 감소를 직접 추정함으로써 최적의 활성 집합을 근사하는 탐욕 전략이 적용된다.
• 목적 함수를 단조 감소시키는 방식으로 반복적으로 개선함으로써 전역 수렴을 보장한다.
• 저랭크 갱신과 효율적인 부분문제 해결을 활용하여 명시적 행렬 역행렬 계산을 피한다.
• 조밀한 커널 행렬을 대상으로 설계되어, 커널의 스파arsity를 유도하지 않으면서도 높은 정확도의 회귀를 가능하게 한다.

실험 결과

연구 질문

• RQ1 탐욕스러운 블록 좌표 강하 방법은 대규모 조밀한 가우시안 프로세스 회귀에서 속도와 정확도를 동시에 달성할 수 있는가?
• RQ2 블록 좌표 강하에서 활성 집합 선택을 어떻게 최적화하여 목적 함수 감소를 극대화할 수 있는가?
• RQ3 탐욕스러운 선택 기반의 변수 분해 접근법이 조밀한 GP 환경에서 전역 수렴을 달성할 수 있는가?
• RQ4 대규모 데이터셋에서 GBCD는 켈리지 방법, SMO 및 스퍼스 GP 방법에 비해 속도와 정확도에서 어떻게 비교되는가?
• RQ5 GBCD는 100,000개 이상의 샘플을 포함하는 데이터셋에 대해 확장 가능하며 높은 예측 성능를 유지할 수 있는가?

주요 결과

• GBCD는 대규모 GP 회귀 작업에서 켈리지 방법과 SMO에 비해 최대 10배 빠른 수렴 속도를 달성한다.
• GBCD는 매 반복에서 목적 함수가 단조 감소함으로써 전역 수렴을 보여준다.
• GBCD는 대규모 데이터셋에서 테스트 오차 측면에서 스퍼스 GP 방법보다 뛰어난 예측 정확도를 유지한다.
• 실험 결과 GBCD는 100,000개 샘플의 데이터셋에 효과적으로 스케일링됨을 확인하여, 대규모 응용 분야에서의 실용성을 입증한다.
• 목적 함수 감소 추정을 직접 기반으로 한 탐욕스러운 활성 집합 선택 전략은 히우리스틱 또는 근사 선택 방법에 비해 뛰어난 성능을 발휘한다.