[논문 리뷰] A representation theorem for stochastic processes with separable covariance functions, and its implications for emulation

J Rougier|arXiv (Cornell University)|2017. 02. 18.

Advanced Multi-Objective Optimization Algorithms참고 문헌 28인용 수 11

한 줄 요약

이 논문은 연속적이고 분리 가능한 공분산 함수를 갖는 임의의 확률과정이 각 입력 차원에서의 비상관계 있는 랜덤 변수와 연속 함수의 가중합으로 표현될 수 있음을 보여주는 표현 정리(Representation Theorem)를 수립한다. 주요 기여는 이러한 과정이 비상관계 있는 과정의 곱과 이차모멘트(2nd-order)로 동치가 될 수 있음을 증명한 것으로, 이는 컴퓨터 모델 에뮬레이션에서 전통적으로 사용되는 분리 가능한 공분산 함수의 강력한 구조적 제약 조건을 드러내며 기존의 관행을 도전한다.

ABSTRACT

Many applications require stochastic processes specified on two- or higher-dimensional domains; spatial or spatial-temporal modelling, for example. In these applications it is attractive, for conceptual simplicity and computational tractability, to propose a covariance function that is separable; e.g., the product of a covariance function in space and one in time. This paper presents a representation theorem for such a proposal, and shows that all processes with continuous separable covariance functions are second-order identical to the product of second-order uncorrelated processes. It discusses the implications of separable or nearly separable prior covariances for the statistical emulation of complicated functions such as computer codes, and critically reexamines the conventional wisdom concerning emulator structure, and size of design.

연구 동기 및 목표

• 다양한 차원의 영역에서 분리 가능한 공분산 함수를 사용할 경우의 이론적 함의를 명확히 하기 위해.
• 분리 가능한 공분산 함수가 기저의 확률과정에 기본적인 구조적 제약 조건을 가하는 정도를 조사하기 위해.
• 컴퓨터 실험에서 전체 에뮬레이터를 분리 가능한 공분산 함수로 구성할 수 있다는 전통적 통념의 타당성과 한계를 평가하기 위해.
• 분리 가능한 공분산 함수를 갖는 과정의 이차모멘트 특성을 표현 정리로 제공하기 위해.
• 분리 가능성의 영향을 고차원 입력 공간에서의 실험 설계 및 에뮬레이터 성능에 대해 검토하기 위해.

제안 방법

• 중앙화된 확률과정이 연속적이고 분리 가능한 공분산 함수를 갖는다면, 각 차원에서의 비상관계 있는 랜덤 변수와 연속 기저 함수의 곱의 합으로 표현될 수 있다는 표현 정리를 유도한다.
• 반대 방향을 형식화하기 위해 k-차수의 비상관계 있는 가족(uncorrelated families) 개념을 도입한다: 분리 가능한 공분산 함수를 갖는 과정은 비상관계 있는 과정의 곱과 이차모멘트로 동치가 될 수 있다.
• 분리 가능성 조건 하에서 공분산 행렬이 크로네커 곱(Kronecker product)의 구조를 갖는다는 점을 활용하여 격자 기반 관측치에서의 계산과 분석을 단순화한다.
• 표현 정리를 적용하여 컴퓨터 모델 에뮬레이션에 미치는 영향을 분석한다. 특히 사전 분산 구조와 실험 설계의 맥락에서 고려한다.
• 분리 가능한 에뮬레이터를 시뮬레이터 실행 결과로 업데이트하면 사후 공분산 함수의 분리 가능성은 상실되지만, 사전 제약 조건이 입력 공간의 경계에서 성능에 영향을 미칠 수 있음을 보여준다.
• 설계 크기의 표준 'n = 10p' 규칙을 비판적으로 평가하여, 고차원에서 분리 가능한 사전 분포가 입력 공간의 모서리에서 열악한 외삽 성능을 초래할 수 있음을 밝힌다.

실험 결과

연구 질문

• RQ1 분리 가능한 공분산 함수를 갖는 확률과정의 정확한 구조적 형태는 무엇인가?
• RQ2 분리 가능한 공분산 함수를 가정할 경우, 이차모멘트 성질 측면에서 기저의 확률과정가 얼마나 강하게 제약을 받는가?
• RQ3 독립된 과정의 곱 형태가 분리 가능한 공분산 함수를 갖는 과정의 이차모멘트 행동을 완전히 설명할 수 있는가?
• RQ4 에뮬레이터에서 분리 가능한 공분산 함수를 사용할 경우, 특히 고차원 입력 공간에서 예측의 신뢰성에 어떤 영향을 미치는가?
• RQ5 계산의 편의성에도 불구하고, 전체 에뮬레이터를 분리 가능한 공분산 함수로 구성하는 전통적인 관행이 왜 문제일 수 있는가?

주요 결과

• 연속적이고 분리 가능한 공분산 함수를 갖는 확률과정은 각 입력 차원에서의 비상관계 있는 랜덤 변수와 연속 함수의 곱의 합과 이차모멘트로 동치이다.
• 표현 정리는 분리 가능성에 대한 필요 및 충분 조건을 설정한다: 과정은 ∑ᵢⱼ Zᵢⱼ gᵢ(x)hⱼ(y) 형태로 표현되어야 하며, 여기서 {Zᵢⱼ}는 평균이 0이고 분산이 1이며 상관이 없는 랜덤 변수여야 한다.
• 역방향 결과는 분리 가능한 공분산 함수를 갖는 모든 과정의 이차모멘트 구조가 두 비상관계 있는 과정의 곱을 통해 재현될 수 있음을 보여주며, 이를 k중 비상관계 있는 가족을 통해 수학적으로 형식화한다.
• 에뮬레이터에서 분리 가능한 공분산 함수를 사용하는 것은 시뮬레이터 출력 f(x,y)가 fₓ(x)fᵧ(y)로 근사될 수 있다고 암묵적으로 가정하는 것으로, 이는 항상 정당화되지 않는 강력한 구조적 제약 조건이다.
• 고차원 입력 공간의 가장자리나 모서리에서는 데이터가 흐물러지므로 사전 분포가 지배하게 되어, 분리 가능한 사전 분포는 외삽 성능이 열악할 수 있다.
• 분리 가능한 에뮬레이터를 시뮬레이터 실행 결과로 업데이트하면 사후 공분산의 분리 가능성은 상실되지만, 사전의 구조적 가정은 여전히 고차원 영역에서 사후 분포에 영향을 미친다.