[논문 리뷰] Exact Inference for Gaussian Process Regression in case of Big Data with the Cartesian Product Structure

Mikhail Belyaev, Evgeny Burnaev외 1명|arXiv (Cornell University)|2014. 03. 26.

Gaussian Processes and Bayesian Inference참고 문헌 13인용 수 20

한 줄 요약

이 논문은 다차원 요인을 가진 대규모 인자 설계에 특화된 새로운 정확한 추론 방법을 제안한다. 데이터의 카르테시안 곱 구조를 활용하여, O(N log N) 시간 복잡도를 가지며 정확하고 이방성 인식이 가능한 가우시안 프로세스 회귀를 가능하게 하며, 실제 및 시뮬레이션 벤치마크에서 FITC와 같은 희소 근사보다 정확도와 런타임 면에서 뛰어나다.

ABSTRACT

Approximation algorithms are widely used in many engineering problems. To obtain a data set for approximation a factorial design of experiments is often used. In such case the size of the data set can be very large. Therefore, one of the most popular algorithms for approximation - Gaussian Process regression - can be hardly applied due to its computational complexity. In this paper a new approach for Gaussian Process regression in case of factorial design of experiments is proposed. It allows to efficiently compute exact inference and handle large multidimensional data sets. The proposed algorithm provides fast and accurate approximation and also handles anisotropic data.

연구 동기 및 목표

• 인자 설계에서 유래한 대규모 다차원 데이터셋에서 표준 가우시안 프로세스 회귀의 계산 비가역성 문제를 해결하기 위해.
• 희소 근사에 의존하지 않고 대규모 학습 세트에 포함된 전체 정보를 유지하는 정확한 추론 방법을 개발하기 위해.
• 요인 크기가 크게 다름에 따라 발생하는 이방성 데이터를 다루기 위해, 모델 붕괴를 방지하는 맞춤형 사전 분포를 통합하기 위해.
• 고차원이고 구조화된 데이터에서 GP 모델의 유연성과 해석 가능성 유지하면서도 효율적이고 확장 가능한 GP 회귀를 가능하게 하기 위해.
• 기존 방법들인 FITC와 MARS와 비교하여 시뮬레이션 및 실제 공학 문제에서 정확도와 런타임 면에서 본 방법의 우수성을 입증하기 위해.

제안 방법

• 인자 설계의 카르테시안 곱 구조를 활용하여 공분산 행렬을 더 작은 구조화된 행렬들의 텐서 곱으로 분해한다.
• 코푄너 제품 구조에 기반한 낮은 랭크 근사로 공분산 행렬을 근사하고, FFT 기반 솔버를 통해 효율적인 콜레프스키 분해를 실현한다.
• 요인 크기가 다양함을 고려한 새로운 사전 분포를 도입하여 이방성에 대한 강건성을 향상시키고 모델 붕괴를 방지한다.
• 빠른 행렬 연산을 활용한 정확한 추론을 수행하여 O(N log N) 시간 복잡도와 O(N) 메모리 사용량을 달성한다.
• 요인 크기의 도메인 지식을 기반으로 한 매개변수 초기화 전략을 통해 이방성 환경에서 수렴성과 안정성을 향상시킨다.
• 설계의 내재된 구조에 적응하는 정규화를 도입하여 일반화 성능을 향상시킨다.

실험 결과

연구 질문

• RQ1 대규모 다차원 인자 설계에 대해 정확한 가우시안 프로세스 추론을 계산적으로 가능하게 할 수 있는가?
• RQ2 인자 설계의 카르테시안 곱 구조를 어떻게 활용하여 근사 없이 GP 회귀를 가속화할 수 있는가?
• RQ3 요인 크기가 상이한 이방성 데이터를 다루기 위해 가장 적합한 사전 분포와 초기화 전략는 무엇인가?
• RQ4 이와 같은 구조화된 데이터에서 FITC와 MARS와 같은 희소 GP 근사와 비교해 본 방법의 정확도와 효율성은 어떻게 되는가?
• RQ5 수천 개에서 수만 개의 데이터 포인트를 포함하는 데이터셋에 대해 본 방법이 높은 예측 정확도를 유지하면서 확장 가능한가?

주요 결과

• Dolan-Moré 곡선을 통해 대규모 테스트 문제 전반에서 FITC와 MARS보다 훨씬 뛰어난 근사 정확도를 보이는 텐서GP-reg 알고리즘을 도출하였다.
• 14,400개의 학습 포인트를 가진 회전 디스크 설계 문제에서, 텐서GP-reg는 매끄럽고 정확한 근사를 생성하였고, 500개의 유도 포인트를 사용한 FITC는 붕괴 현상과 낮은 적합도를 보였다.
• O(N log N) 시간 복잡도와 O(N) 메모리 사용량을 달성하여, 기존 GP 회귀가 비가능한 대규모 데이터셋에서도 정확한 추론이 가능하다.
• 맞춤형 사전 분포가 이방성 데이터에서의 모델 붕괴를 효과적으로 완화하여, 고차원이고 균일하지 않은 샘플링이 이루어진 설계에서 표준 GP 설정보다 뛰어난 성능을 보였다.
• Dolan-Moré 곡선을 통해 텐서GP-reg의 런타임 성능는 MARS와 유사하며 FITC를 능가함을 확인하였고, 정확도와 속도 면에서 일관된 우수성을 보였다.
• 알고리즘은 학습 세트에 포함된 전체 정보를 유지하여, 희소 근사에서 발생하는 정보 손실을 피하고자 하였다.