[논문 리뷰] Scaling up the Automatic Statistician: Scalable Structure Discovery using Gaussian Processes

Hyunjik Kim, Yee Whye Teh|arXiv (Cornell University)|2017. 06. 08.

Gaussian Processes and Bayesian Inference참고 문헌 31인용 수 18

한 줄 요약

이 논문은 확장 가능한 커널 조합(Scalable Kernel Composition, SKC)을 제안하며, O(N³) 복잡도에서 O(N²)로 감소하는 효율적인 추론을 가능하게 하여 대규모 데이터셋에서 해석 가능한 가우시안 프로세스(GP) 모델 발견을 가능하게 한다. 이는 GP의 주변 가능도에 대해 저렴하면서도 날카운 상한선을 도입함으로써 달성된다. 진짜 주변 가능도를 이 상한선과 변분 하한선 사이에 끼워넣음으로써 SKC는 효율적이고 반그리디틱한 커널 탐색을 가능하게 하여 수천 개의 점을 가진 데이터에서 다중 스케일 주기성과 추세와 같은 복잡한 구조를 성공적으로 식별한다.

ABSTRACT

Automating statistical modelling is a challenging problem in artificial intelligence. The Automatic Statistician takes a first step in this direction, by employing a kernel search algorithm with Gaussian Processes (GP) to provide interpretable statistical models for regression problems. However this does not scale due to its $O(N^3)$ running time for the model selection. We propose Scalable Kernel Composition (SKC), a scalable kernel search algorithm that extends the Automatic Statistician to bigger data sets. In doing so, we derive a cheap upper bound on the GP marginal likelihood that sandwiches the marginal likelihood with the variational lower bound . We show that the upper bound is significantly tighter than the lower bound and thus useful for model selection.

연구 동기 및 목표

• O(N³) GP 추론 복잡도로 인해 소규모 데이터셋에 국한되는 Automatic Statistician의 확장성 문제를 해결하기 위해.
• Compositional Kernel Search(CKS)를 확장하여 중소 및 대규모 데이터셋에 대해 자동화되고 해석 가능한 통계 모델링을 가능하게 하기 위해.
• 복잡한 구조(예: 다중 주기적 추세 및 국소 변동)를 발견하면서도 해석 가능성 유지가 가능한 확장 가능한 모델 선택 프레임워크를 개발하기 위해.
• 변분 하한선만을 사용하는 것보다 더 신뢰할 수 있고 날카운 GP 주변 가능도 상한선을 제공하여 모델 선택 성능을 향상시키기 위해.

제안 방법

• GP 주변 가능도에 대해 계산적으로 저렴하면서도 진짜 주변 가능도를 정확하게 끼워넣는 새로운 상한선을 도입한다.
• 이 상한선을 사용하여 조합적 커널 공간 탐색을 안내하는 반그리디틱 커널 검색 전략을 구현함으로써 局부 최적해에 대한 민감도를 감소시킨다.
• 정확한 주변 가능도를 대체하여 모델 선택의 근거로 상한선을 사용함으로써, 전체 GP 추론 없이도 확장 가능한 커널 조합을 가능하게 한다.
• 유도점(inducing points)을 사용한 변분 추론을 활용하여 GP 주변 가능도를 근사함으로써 계산 비용을 O(N³)에서 O(N²)로 감소시킨다.
• 하한선 간격이 겹치는 커널에 대해 상한선을 타이브레이크(tie-breaker)로 사용함으로써 모델 선택의 안정성과 정확도를 향상시킨다.
• 기본 커널(SE, LIN, PER)을 사용하여 시간 시계열 데이터에 적용함으로써, 구조 인식 능력이 있는 해석 가능한 GPs를 구성한다.

실험 결과

연구 질문

• RQ1 수천 개의 점을 가진 데이터셋에 대해 모델의 해석 가능성 유지와 함께 Automatic Statistician를 확장할 수 있는가?
• RQ2 저렴하면서도 날카운 GP 주변 가능도 상한선이 대규모 환경에서 커널 탐색을 안내하는 데 효과적인가?
• RQ3 모델 선택에서 변분 하한선에 비해 제안된 상한선은 날카움과 신뢰성 측면에서 어떻게 비교되는가?
• RQ4 SKC는 대규모 시계열에서 이중 주기 패턴과 국소 추세와 같은 복잡한 다중 스케일 구조를 발견할 수 있는가?
• RQ5 상한선을 사용할 경우, 하한선만 사용하거나 무작위 샘플링을 사용하는 것보다 깊이 4를 초월하는 더 깊은 커널 탐색이 가능한가?

주요 결과

• SKC는 N = 31,957개의 점을 가진 tidal 데이터에서 SE × PER₁ × LIN × PER₂ × PER₃의 커널을 성공적으로 발견하여 12시간 주기성과 이중 주기성 주기성을 모두 포착하였다.
• 주변 가능도에 대한 상한선은 변분 하한선보다 훨씬 날카로워서 더 안정적이고 신뢰할 수 있는 모델 선택을 가능하게 하였다.
• 하한선만을 사용한 커널 탐색은 하한선의 신호 대 잡음 비율이 열 劣로 인해 깊이 3을 초월하지 못했지만, SKC는 깊은 구조 탐색을 성공적으로 수행하였다.
• 무작위 샘플링은 최대 2,560개의 점까지 수행되었지만, 장기 주기적 추세와 같은 전역적 구조를 유지하지 못했고, 반면 m = 640개의 유도점과 함께 SKC는 이를 정확히 포착하였다.
• LIN 커널은 영향이 거의 없었으며(기울기 = -5×10⁻⁶), PER₂는 길이 척도가 높고 진폭이 낮아 영향이 미미하여, 모델의 해석 가능성에 대한 신뢰를 확인하였다.
• CKS와 샘플링 기반 접근 방식이 실패하는 대규모 데이터셋에서 SKC는 확장 가능하고 해석 가능한 구조 탐색을 달성하였으며, O(N²) 실행 시간 스케일링을 보였다.