[논문 리뷰] ADDITIVE COVARIANCE KERNELS FOR HIGH-DIMENSIONAL GAUSSIAN PROCESS MODELING

Nicolas Durrande, David Ginsbourger외 1명|arXiv (Cornell University)|2011. 11. 27.

Advanced Multi-Objective Optimization Algorithms참고 문헌 15인용 수 56

한 줄 요약

이 논문은 고차원 가우시안 프로세스 모델링에서 차원의 극복을 위해 덧셈형 공분산 커널을 제안한다. 공분산 구조를 덧셈 성분으로 분해함으로써, 예측 정확도를 유지하면서도 고차원 입력 공간에서 계산 비용을 줄이는 확장 가능한 해석 가능한 크리깅 모델을 가능하게 한다.

ABSTRACT

Gaussian process models -also called Kriging models- are often used as mathematical approximations of expensive experiments. However, the number of observation required for building an emulator becomes unrealistic when using classical covariance kernels when the dimension of input increases. In oder to get round the curse of dimensionality, a popular approach is to consider simplified models such as additive models. The ambition of the present work is to give an insight into covariance kernels that are well suited for building additive Kriging models and to describe some properties of the resulting models.

연구 동기 및 목표

• 고차원 입력 공간에서 표준 가우시안 프로세스 모델의 계산 비용이 지나치게 높아지는 문제를 해결한다.
• 확장성과 해석 가능성 향상을 위해 덧셈 크리깅 모델에 특화된 공분산 커널을 개발한다.
• 가우시안 프로세스에서 덧셈형 공분산 구조의 성질에 대한 이론적 및 실용적 통찰을 제공한다.
• 입력 차원이 높은 복잡한 컴퓨터 실험을 효율적으로 에뮬레이션하기 위해 구조화된 공분산 분해를 통해 가능하게 한다.

제안 방법

• 각 입력 차원에서의 독립적 기여를 반영하는 총 공분산을 분해하는 덧셈형 공분산 커널의 클래스를 제안한다.
• 각 입력 변수에 대해 작용하는 단변량 공분산 함수의 합으로 커널을 구성한다.
• 결과로 얻어진 커널이 양의 정부호이면서 가우시안 프로세스 회귀에 적합하도록 보장한다.
• 전체 랭크 커널 대비 하이퍼파rameter 수와 계산 복잡도를 줄이기 위해 덧셈 구조를 활용한다.
• 덧셈 분해에 의해 유도되는 조건부 독립성 구조를 이용해 효율적인 추론과 예측을 가능하게 한다.
• 입력 차원이 높지만 기저 함수가 약간의 덧셈 구조를 가지는 경우에 적합한 컴퓨터 실험 및 에뮬레이션 작업에 이 프레임워크를 적용한다.

실험 결과

연구 질문

• RQ1 어떻게 공분산 커널을 구성하면 고차원 입력 공간에서 효율적이고 해석 가능한 가우시안 프로세스 모델링이 가능할 수 있는가?
• RQ2 크리깅 맥락에서 덧셈형 공분산 커널의 이론적 및 실용적 성질은 무엇인가?
• RQ3 덧셈 커널 구조는 예측 정확도를 유지하면서 계산 비용을 얼마나 줄일 수 있는가?
• RQ4 진짜 함수가 엄밀히 덧셈 구조가 아니더라도 덧셈 커널이 약간의 덧셈 구조를 가지는 함수를 효과적으로 모델링할 수 있는가?
• RQ5 확장성과 모델의 해석 가능성 측면에서 덧셈 커널 프레임워크는 표준 전체 랭크 공분산 커널보다 어떻게 비교되는가?

주요 결과

• 덧셈형 공분산 커널은 전체 랭크 커널 대비 훨씬 적은 하이퍼파rameter를 필요로 하여 모델의 확장성을 향상시킨다.
• 덧셈 구조 덕분에 고차원 설정에서도 사후 예측과 주변 가능도의 계산이 효율적으로 이루어진다.
• 단순화된 가정에도 불구하고 약간의 덧셈 구조를 가지는 함수에 대해 양호한 예측 성능를 유지한다.
• 각 입력 차원이 총 공분산 구조에 독립적으로 기여할 수 있도록 해석 가능한 모델링을 지원한다.
• 단변량 커널 성분에 대한 약한 조건 하에서 양의 정부호성 등의 이론적 성질이 유지된다.
• 실증 결과는 덧셈 커널이 정확도 손실이 크지 않은 수준에서 표준 커널보다 계산 효율성이 뛰어나다는 것을 보여준다.