[논문 리뷰] Local Gaussian Process Approximation for Large Computer Experiments

Robert B. Gramacy, Daniel W. Apley|arXiv (Cornell University)|2013. 03. 02.

Advanced Multi-Objective Optimization Algorithms참고 문헌 27인용 수 6

한 줄 요약

이 논문은 대규모 컴퓨터 실험을 위한 국소적 가우시안 프로세스 근사법을 제안하며, 순차적 설계를 통해 동적으로 국소 예측 모델을 구축함으로써 다핵심 아키텍처에서 빠르고 병렬 처리 가능한 추론을 가능하게 한다. 국소 이웃에 집중하고 효율적인 순차적 업데이트를 가능하게 함으로써, 전체 GP 모델과 유사한 높은 예측 정확도를 달성하면서도 데이터 크기에 비례하여 선형적으로 확장되며, 대규모 데이터셋에서 밀도가 높은 공분산 접근 방식보다 속도와 정확도 면에서 뛰어나다.

ABSTRACT

We provide a new approach to approximate emulation of large computer experiments. By focusing expressly on desirable properties of the predictive equations, we derive a family of local sequential design schemes that dynamically define the support of a Gaussian process predictor based on a local subset of the data. We further derive expressions for fast sequential updating of all needed quantities as the local designs are built-up iteratively. Then we show how independent application of our local design strategy across the elements of a vast predictive grid facilitates a trivially parallel implementation. The end result is a global predictor able to take advantage of modern multicore architectures, providing a nonstationary modeling feature as a bonus. We demonstrate our method on two examples utilizing designs with thousands of data points, and compare to the method of compactly supported covariances.

연구 동기 및 목표

• 대규모 컴퓨터 실험에서 전체 가우시안 프로세스 모델의 계산 비용이 지나치게 높아지는 문제를 해결하기 위해.
• 정상성 가정 없이도 높은 예측 정확도를 유지하면서도 확장성 있고 병렬 처리 가능한 방법을 개발하기 위해.
• 대규모 에뮬레이션을 위한 국소 예측 모델의 효율적인 순차적 설계 및 업데이트를 가능하게 하기 위해.
• 전체 GP 및 밀도가 높은 공분산 접근 방식의 계산 가능성을 대체할 수 있는 방법을 제공하기 위해.
• 국소적 비정상 모델링이 전역 정상 근사 모델보다 예측 성능 면에서 뛰어날 수 있음을 보여주기 위해.

제안 방법

• 모델은 각 쿼리 포인트 x 중심의 국소 예측 모델을 구축하기 위해 예측 분산 감소 기반으로 가장 정보가 많은 데이터 포인트를 반복적으로 선택한다.
• 예측 분산 감소에서 유도된 탐욕적 활성 학습 기준을 사용하여 순차적으로 국소 설계를 구축함으로써 최적의 국소 지원을 확보한다.
• 모든 필요한 양(기댓값, 분산, 상관관계)은 새로운 점이 국소 설계에 추가될 때 폐쇄형으로 효율적으로 업데이트된다.
• 모든 노드 간 통신 없이도 대규모 입력 포인트 그리드에서 쉽게 병렬 예측이 가능하다.
• 이 방법은 공분산 가족에 대해 무관하며, 분석적으로 미분 가능한 임의의 커널과 함께 작동하지만, 설명을 위해 단순한 제곱 지수 커널을 사용한다.
• 탭어링이나 전역 기저 함수를 피하고, 이산적이고 국소화된 지원에 의존함으로써 계산 효율성과 비정상성 유지에 기여한다.

실험 결과

연구 질문

• RQ1 국소적이고 순차적인 설계 전략은 계산 효율성을 유지하면서도 대규모 컴퓨터 실험에 대해 높은 예측 정확도를 달성할 수 있는가?
• RQ2 밀도가 높은 공분산(CSC) 접근 방식과 비교할 때 국소 GP 근사의 성능은 속도와 정확도 측면에서 어떻게 다른가?
• RQ3 예측 분산 감소 기반의 국소 설계 전략은 국소 크리깅에서 표준 근접 이웃 접근 방식보다 성능이 뛰어나게 되는가?
• RQ4 국소적 비정상 모델링은 얼마나 단순한 국소 커널 구조를 보완할 수 있는가?
• RQ5 통신 오버헤드 없이도 대규모 예측 그리드에서 국소 설계 접근 방식을 효율적으로 병렬 처리할 수 있는가?

주요 결과

• 국소 GP 근사법은 8,000점의 보어홀 실험에서 루트 평균 제곱 오차(RMSE) 0.787을 기록하여 전체 GP 방법과 유사한 수준의 높은 정확도를 달성했으며, 밀도가 높은 공분산(CSC) 방법보다 100배 이상 빠른 성능을 보였다.
• 이 방법은 데이터 크기에 비례하여 선형적으로 확장되었으며, 10,000점 데이터셋에서 실행 시간은 92.3초(alc2)에서 169.1초(mspe2)로 증가했지만, CSC 방법은 26,000초 이상 소요되었다.
• 국소 방법은 $√{1-\mathrm{NSE}}$ 값이 0.0173을 기록하여 강력한 예측 성능을 보였으며, 보어홀 예제에서 근접 이웃 및 CSC 변형보다 정확도 면에서 뛰어났다.
• OpenMP 병렬 처리를 통해 거의 선형적인 성능 향상을 보였으며, 대규모 입력 포인트 그리드에서 노드 간 통신 없이도 쉽게 병렬 예측이 가능했다.
• 예측 분산 감소 기반의 국소 설계 전략은 동일한 국소 설계 크기에서 단순한 근접 이웃 국소 설계보다 항상 높은 예측 정확도를 달성했다.
• 사소한 제곱 지수 커널을 사용함에도 불구하고 국소 방법은 더 정교한 CSC 방법보다 뛰어난 성능을 보였으며, 국소 모델링에서 비정상성의 이점이 입증되었다.