[논문 리뷰] Sequential Learning of Active Subspaces

Nathan Wycoff, Mickaël Binois외 1명|arXiv (Cornell University)|2021. 01. 01.

Gaussian Processes and Bayesian Inference참고 문헌 49인용 수 7

한 줄 요약

이 논문은 유한차분 근사치를 사용하지 않고 가우시안 프로세스(GP) 서rogate 모델을 사용하여 활성 부분공간 추정을 위한 폐쇄형 해법을 제안한다. GP 커널에서 해석적으로 활성 부분공간 행렬을 유도함으로써, 비용이 많이 드는 블랙박스 평가를 크게 줄이고 감도 분석에서 불확실성을 정량화할 수 있는 효율적인 순차적 설계를 가능하게 한다.

ABSTRACT

In recent years, active subspace methods (ASMs) have become a popular means of performing subspace sensitivity analysis on black-box functions. Naively applied, however, ASMs require gradient evaluations of the target function. In the event of noisy, expensive, or stochastic simulators, evaluating gradients via finite differencing may be infeasible. In such cases, often a surrogate model is employed, on which finite differencing is performed. When the surrogate model is a Gaussian process (GP), we show that the ASM estimator is available in closed form, rendering the finite-difference approximation unnecessary. We use our closed-form solution to develop acquisition functions focused on sequential learning tailored to sensitivity analysis on top of ASMs. We also show that the traditional ASM estimator may be viewed as a method of moments estimator for a certain class of GPs. We demonstrate how uncertainty on GP hyperparameters may be propagated to uncertainty on the sensitivity analysis, allowing model-based confidence intervals on the active subspace. Our methodological developments are illustrated on several examples. Supplementary files for this article are available online.

연구 동기 및 목표

• 기울기 평가가 불가능한 고차원, 고비용 또는 노이즈가 많은 시뮬레이터에서 활성 부분공간을 추정하는 데 도전하는 것.
• 유한차분 근사치에 의존하지 않고 GP 서rogate 모델을 활용하여 기울기 추정을 수행하는 것.
• 더 적은 함수 평가로 활성 부분공간 추정을 향상시키기 위해 순차적 설계를 위한 할당 함수를 개발하는 것.
• GP 초모수의 불확실성을 전파하여 활성 부분공간 추정의 불확실성을 정량화하는 것.
• 전통적인 활성 부분공간 방법과 GP 모델링을 방법의 모멘트 해석을 통해 통합하는 것.

제안 방법

• 일반적인 공분산 커널(예: 제곱 지수 커널)을 사용하는 GP 모델 하에서 활성 부분공간 행렬에 대한 폐쇄형 표현을 유도하는 것.
• 특정 유형의 GP 모델에 대해 고전적 활성 부분공간 추정기를 방법의 모멘트 추정기로 재해석하는 것.
• 헤시안 근사의 트레이스, 분산, 행렬식을 기반으로 한 할당 함수를 구성하여 순차적 샘플링을 안내하는 것.
• 몬테카를로 샘플링 또는 해석적 근사치를 통해 GP 초모수의 불확실성을 활성 부분공간으로 전파하는 것.
• 불확실성을 줄이기 위해 정보가 풍부한 입력 포인트를 반복적으로 선택하는 순차적 설계를 사용하는 것.
• 하나의 하위공간 거리 척도를 사용하여 합성 및 실제 시뮬레이터(예: 미네소타 코로나19 모델 포함)에서 접근 방식을 검증하는 것.

실험 결과

연구 질문

• RQ1 고전적 활성 부분공간 추정기는 GP 모델 하에서 방법의 모멘트 프레임워크와 공식적으로 연결될 수 있는가?
• RQ2 GP 서rogate를 사용할 경우 활성 부분공간 행렬에 대해 폐쇄형 해법이 존재하는가? 유한차분 근사치를 피할 수 있는가?
• RQ3 GP 불확실성 기반 할당 함수는 순차적 학습에서 활성 부분공간 추정의 효율성을 향상시킬 수 있는가?
• RQ4 GP 초모수의 불확실성은 어떻게 추정된 활성 부분공간의 불확실성으로 전파될 수 있는가?
• RQ5 제안된 방법은 정확한 활성 부분공간 추정을 위해 필요한 고비용 시뮬레이터 평가 횟수를 줄일 수 있는가?

주요 결과

• 고전적 활성 부분공간 추정기가 특정 유형의 GP 모델에 대해 방법의 모멘트 추정기임을 공식적으로 입증함으로써, ASMs와 GP 회귀 간의 이론적 연결 고리를 확립하였다.
• 일반적인 GP 커널 하에서 활성 부분공간 행렬에 대한 폐쇄형 표현이 도출되었으며, 이는 서rogate 모델에 대한 몬테카를로 유한차분을 제거함으로써 가능해졌다.
• 헤시안 근사의 트레이스, 분산, 행렬식을 기반으로 한 순차적 할당 함수가 더 적은 함수 평가로 하위공간 오차를 감소시키는 데 랜덤 샘플링보다 뛰어난 성능을 보였다.
• 미네소타 코로나19 시뮬레이터에서 제안된 방법은 랜덤 샘플링보다 더 낮은 하위공간 오차를 달성했으며, 분산 기반 할당 함수가 가장 우수한 성능을 보였다.
• GP 초모수의 불확실성이 활성 부분공간으로 성공적으로 전파되어 감도 분석을 위한 모델 기반 신뢰구간을 제공할 수 있었다.
• 특히 기울기가 이용 불가능하거나 노이즈가 심한 경우에, 정확한 활성 부분공간 추정을 위해 필요한 고비용 블랙박스 평가 횟수를 줄일 수 있었다.