[논문 리뷰] Efficient Multiscale Gaussian Process Regression using Hierarchical Clustering

Ze Jia Zhang, Karthik Duraisamy외 1명|arXiv (Cornell University)|2015. 11. 06.

Gaussian Processes and Bayesian Inference참고 문헌 22인용 수 7

한 줄 요약

이 논문은 다차원 과학적 데이터셋에 대해 계산 비용을 줄이고 정확도를 향상시키기 위해 계층적 클러스터링 기반의 다중 척도 가우시안 프로세스 회귀(Multiscale Gaussian Process Regression, MGP)를 제안한다. 여러 척도에서 클러스터 중심을 인덕팅 포인트로 사용함으로써 MGP는 7차원 난류 연소 데이터셋에서 표준 GP에 비해 오직 2%의 오차 증가로 50배 빠른 평가 성능을 달성한다.

ABSTRACT

Standard Gaussian Process (GP) regression, a powerful machine learning tool, is computationally expensive when it is applied to large datasets, and potentially inaccurate when data points are sparsely distributed in a high-dimensional feature space. To address these challenges, a new multiscale, sparsified GP algorithm is formulated, with the goal of application to large scientific computing datasets. In this approach, the data is partitioned into clusters and the cluster centers are used to define a reduced training set, resulting in an improvement over standard GPs in terms of training and evaluation costs. Further, a hierarchical technique is used to adaptively map the local covariance representation to the underlying sparsity of the feature space, leading to improved prediction accuracy when the data distribution is highly non-uniform. A theoretical investigation of the computational complexity of the algorithm is presented. The efficacy of this method is then demonstrated on smooth and discontinuous analytical functions and on data from a direct numerical simulation of turbulent combustion.

연구 동기 및 목표

• 대규모 고차원 비균일 분포 과학 데이터셋에서 표준 가우시안 프로세스 회귀의 높은 계산 비용과 낮은 정확도 문제를 해결하기 위해.
• 특성 공간에서 데이터 분포가 희박한 상황에서도 예측 정확도를 유지하면서 학습 및 평가 복잡도를 줄이기 위해.
• 실시간 시뮬레이션 솔버와 같은 과학 계산 워크플로우에서 빈번한 평가가 가능한 확장 가능한 GP 방법을 개발하기 위해.
• 다중 척도 클러스터링을 통해 국소 공분산 표현을 적응적으로 조정하여 희박성 또는 불연속성이 높은 영역에서 예측 정확도를 향상시키기 위해.
• 직접 수치 시뮬레이션에서 유래한 대규모 데이터셋에서 효율적이고 정확한 회귀를 가능하게 하기 위해, 예를 들어 난류 연소에서의 데이터를 대상으로 한다.

제안 방법

• 이 방법은 입력 데이터를 클러스터로 분할하기 위해 계층적 클러스터링을 사용하며, 클러스터 중심을 인덕팅 포인트로 사용해 희소 GP 회귀를 수행한다.
• 다양한 군집의 해상도 수준에서 클러스터링을 적용함으로써 국소 데이터 희박성의 적응적 표현이 가능해지는 다중 척도를 도입한다.
• 클러스터 중심에 기반한 다중 척도 기저 함수를 사용해 공분산 구조를 재정의함으로써 실제 학습 포인트 수를 감소시킨다.
• 초기화를 클러스터 기반으로 하여 수렴을 향상시키고, 하이퍼파rameter를 조정하기 위해 수정된 우도 최적화를 사용한다.
• 예측은 전체 학습 데이터 크기 대비 클러스터 수에 비례하는 계산 복잡도로 수행되는 축소된 인덕팅 포인트 세트를 사용한다.
• 각 클러스터에 대해 가변 길이의 상관 길이를 지원함으로써 비정상성 및 불연속 함수의 더 나은 모델링이 가능하다.

실험 결과

연구 질문

• RQ1 데이터 포인트의 계층적 클러스터링이 대규모 비균일 분포 과학 데이터셋에서 가우시안 프로세스 회귀의 효율성과 정확도를 향상시키는가?
• RQ2 클러스터링된 인덕팅 포인트를 통한 다중 척도 표현은 희박한 데이터 영역이나 불연속성 영역에서 예측 성능에 어떤 영향을 미치는가?
• RQ3 과학 계산 응용 분야에서 예측 정확도 손실 없이 계산 복잡도를 얼마나 줄일 수 있는가?
• RQ4 고차원 실세계 시뮬레이션 데이터에서 MGP는 표준 GP에 비해 평가 속도와 오차 측면에서 어떻게 비교되는가?
• RQ5 이 방법은 난류 연소 시뮬레이션에서 발생하는 복잡하고 불연속적인 함수에 효과적으로 적용될 수 있는가?

주요 결과

• 부드러운 해석 함수에서 MGP는 표준 GP 대비 최소 10배의 속도 향상을 달성하면서 유사한 정확도를 유지했다.
• 불연속 함수에서는 MGP가 표준 GP보다 훨씬 우수한 피팅 성능을 보였으며, 특히 데이터 밀도가 낮은 영역에서 두드러졌다.
• 300만 개의 학습 포인트를 포함한 7차원 난류 연소 데이터셋에서 MGP는 평가 시간을 50배 감소시켰다 (42초에서 0.8초로). 오차는 오직 2% 증가에 그쳤다.
• MGP의 상대 오차는 0.1105였고, 표준 GP는 0.1087이었으며, 이는 상당한 속도 향상에도 불구하고 정확도 손실가 최소화되었음을 보여준다.
• flame flux의 등고선도 및 선도에서 MGP는 표준 GP와 동일한 물리적 특징을 잘 포착했으며, 해석 모델보다 뛰어난 성능을 보였다.
• 특히 과학 시뮬레이션에서 흔한 고차원 특성 공간에서 비균일 데이터 분포를 효과적으로 처리하는 데 있어 강건성을 입증했다.