[논문 리뷰] Scalable Stochastic Kriging with Markovian Covariances

Liang Ding, Xiaowei Zhang|arXiv (Cornell University)|2018. 03. 07.

Simulation Techniques and Applications참고 문헌 23인용 수 3

한 줄 요약

이 논문은 스토하스틱 크리징에서 분석적으로 역행렬이 가능하고 희소한 정밀도 행렬을 가능하게 하는 새로운 유형의 마르코프 연관 함수(Markovian covariance functions, MCFs)를 소개한다. 선형 미분방정식과 연결된 특정 기능적 형태를 활용함으로써, MCFs는 계산 복잡도를 O(n³)에서 O(n²)로 감소시키며, 낮은 오차 또는 구조적 설계 가정 하에서 추가로 성능 향상을 이룬다. 이는 확장 가능한 수치적 안정성 있는 대규모 시뮬레이션 메타모델링을 가능하게 한다.

ABSTRACT

Stochastic kriging is a popular technique for simulation metamodeling due to its exibility and analytical tractability. Its computational bottleneck is the inversion of a covariance matrix, which takes $O(n^3)$ time in general and becomes prohibitive for large n, where n is the number of design points. Moreover, the covariance matrix is often ill-conditioned for large n, and thus the inversion is prone to numerical instability, resulting in erroneous parameter estimation and prediction. These two numerical issues preclude the use of stochastic kriging at a large scale. This paper presents a novel approach to address them. We construct a class of covariance functions, called Markovian covariance functions (MCFs), which have two properties: (i) the associated covariance matrices can be inverted analytically, and (ii) the inverse matrices are sparse. With the use of MCFs, the inversion-related computational time is reduced to $O(n^2)$ in general, and can be further reduced by orders of magnitude with additional assumptions on the simulation errors and design points. The analytical invertibility also enhance the numerical stability dramatically. The key in our approach is that we identify a general functional form of covariance functions that can induce sparsity in the corresponding inverse matrices. We also establish a connection between MCFs and linear ordinary differential equations. Such a connection provides a flexible, principled approach to constructing a wide class of MCFs. Extensive numerical experiments demonstrate that stochastic kriging with MCFs can handle large-scale problems in an both computationally efficient and numerically stable manner.

연구 동기 및 목표

• 대규모 n에 대해 O(n³)의 공분산 행렬 역행렬 계산으로 인해 발생하는 계산 및 수치적 불안정성 문제를 해결하기 위해.
• 큰 공분산 행렬의 조건수 불량으로 인한 매개변수 추정 오차 및 예측 오차를 해결하기 위해.
• 정밀도 행렬의 분석적 역행렬 가능성과 희소성 보장을 통해 효율적이고 안정적인 계산을 가능하게 하는 공분산 함수의 클래스를 개발하기 위해.
• 선형 상미분방정식과의 연결을 활용하여 이러한 공분산 함수를 체계적이고도 융통성 있게 구성할 수 있는 원리적이고도 탄력적인 프레임워크를 수립하기 위해.

제안 방법

• 정밀도 행렬이 삼중대각 행렬이 되는 특정 기능적 형태를 가진 새로운 공분산 함수의 클래스인 마르코프 연관 함수(MCFs)를 제안한다.
• 공분산 행렬의 역행렬이 희소하고 분석적으로 계산 가능한 일반적인 기능적 형태를 식별하여, 역행렬 계산 복잡도를 O(n³)에서 O(n²)로 감소시킨다.
• MCFs와 선형 미분방정식 간의 연결을 활용하여 원하는 성질을 갖는 유효한 MCFs의 넓고도 유연한 가족을 생성한다.
• 그린 함수와 재귀관계를 사용하여 역공분산 행렬과 그 행렬식에 대한 폐쇄형 표현식을 유도한다.
• 라플라스 전개와 수학적 귀납법을 활용하여, 한 점 또는 두 점을 제거한 부분행렬의 행렬식이 MCF 매개변수와 연결된 재귀적 구조를 따른다는 것을 증명한다.
• 일부 조건(예: 무시할 수 있는 시뮬레이션 오차) 하에서는 수치적 역행렬 계산을 완전히 회피함으로써 계산 비용을 O(n)으로까지 감소시킬 수 있음을 보여준다.

실험 결과

연구 질문

• RQ1 정밀도 행렬이 분석적으로 역행렬이 가능하고 동시에 희소한 공분산 함수의 클래스를 구성할 수 있는가? 이를 통해 스토하스틱 크리징의 계산 복잡도를 감소시킬 수 있는가?
• RQ2 MCFs와 선형 상미분방정식 간의 연결을 어떻게 활용하여 융통성 있고 체계적인 유효한 공분산 함수의 가족을 생성할 수 있는가?
• RQ3 설계 점의 구성과 시뮬레이션 오차 구조는 MCFs 하에서 정밀도 행렬의 희소성 및 역행렬 가능성에 어떤 영향을 미치는가?
• RQ4 특히 대규모 시뮬레이션 환경에서 MCFs를 사용하여 스토하스틱 크리징의 O(n³) 복잡도 문제를 어느 정도 완화할 수 있는가?
• RQ5 n이 클 경우 MCFs를 사용할 때 표준 스토하스틱 크리징에 비해 수치적 안정성이 크게 향상되는가?

주요 결과

• 제안된 마르코프 연관 함수(MCFs)는 정밀도 행렬(공분산 행렬의 역행렬)이 분석적으로 역행렬이 가능하고 희소함을 보장하여 계산 복잡도를 O(n³)에서 O(n²)로 감소시킨다.
• 시뮬레이션 오차가 무시할 수 있을 정도로 작은 문제에서는 수치적 행렬 역행렬 계산이 더 이상 필요 없으므로 계산 비용이 O(n)으로 추가로 감소한다.
• MCF에 의해 유도된 정밀도 행렬의 분석적 역행렬 가능성은 수치적 안정성을 크게 향상시켜 대규모 설정에서 조건수 불량으로 인한 문제를 완화한다.
• 이 방법은 MCFs와 선형 미분방정식의 해 사이에 직접적인 연결을 수립함으로써 유효한 공분산 함수를 체계적이고도 융통성 있게 구성할 수 있도록 한다.
• 수치 실험 결과, MCFs를 사용한 스토하스틱 크리징은 대규모 문제에서 계산 효율성과 수치적 안정성 양면에서 뛰어난 성능을 보였다.
• 설계 점을 제거한 부분행렬의 행렬식은 MCF 매개변수와 연결된 재귀적 구조를 따르며, 이는 우도 및 예측 분산의 효율적 계산을 가능하게 한다.