[논문 리뷰] Evaluating Gaussian Process Metamodels and Sequential Designs for Noisy Level Set Estimation

Xiong Lyu, Mickaël Binois외 1명|arXiv (Cornell University)|2018. 07. 18.

Gaussian Processes and Bayesian Inference참고 문헌 34인용 수 10

한 줄 요약

이 논문은 노이즈가 있는 수준 집합을 추정하기 위한 가우시안 프로세스 메타모델과 순차적 설계 전략을 평가한다—특히 블랙박스 함수가 임계값을 초과하는 영역을 대상으로 한다. 무거운 尾를 가진 노이즈와 낮은 신호 대 노이즈 비율 조건에서 t-GP, 스트루던-티 프로세스, 분류 GPs, 및 표준 GP 모델을 비교하여, 저차원에서는 t-GP와 tMSE 설계가 다른 것들보다 뛰어나며, 고차원 또는 잘못 지정된 노이즈 설정에서는 ICU가 가장 우수하다는 것을 발견한다.

ABSTRACT

We consider the problem of learning the level set for which a noisy black-box function exceeds a given threshold. To efficiently reconstruct the level set, we investigate Gaussian process (GP) metamodels. Our focus is on strongly stochastic samplers, in particular with heavy-tailed simulation noise and low signal-to-noise ratio. To guard against noise misspecification, we assess the performance of three variants: (i) GPs with Student-$t$ observations; (ii) Student-$t$ processes (TPs); and (iii) classification GPs modeling the sign of the response. In conjunction with these metamodels, we analyze several acquisition functions for guiding the sequential experimental designs, extending existing stepwise uncertainty reduction criteria to the stochastic contour-finding context. This also motivates our development of (approximate) updating formulas to efficiently compute such acquisition functions. Our schemes are benchmarked by using a variety of synthetic experiments in 1--6 dimensions. We also consider an application of level set estimation for determining the optimal exercise policy of Bermudan options in finance.

연구 동기 및 목표

• 비용이 많이 들지만 일반적으로 노이즈가 많고, 가능하면 무거운 꼬리가 있는 시뮬레이션 출력을 가진 블랙박스 함수에서 수준 집합을 추정하는 데 도전하는 데에 대비하기 위해.
• 노이즈 분포가 잘못 지정된 조건에서 대체 메타모델—특히 t-GP, 스트루던-티 프로세스, 분류 GPs—의 강건성과 성능을 평가하기 위해.
• 제한된 예산 내에서 윤곽 찾기 문제에 효율적인 샘플링을 위해 순차적 설계 히وري스틱(tMSE, MCU, cSUR, ICU)을 비교하기 위해.
• 합성 1–6차원 문제와 실제 응용인 버무다안 옵션 가격 설정 응용 사례에서 이러한 방법들을 벤치마크하기 위해.
• 차원 수, 노이즈 구조, 계산 비용에 기반한 메타모델 및 설계 선택에 실용적인 권고를 제공하기 위해.

제안 방법

• 표준 GP, t-GP(무거운 꼬리 노이즈에 적합), 분류 GP(반응의 부호를 모델링)를 포함한 세 가지 변형을 가진 가우시안 프로세스(GP) 메타모델을 사용한다.
• 이상치와 노이즈 지정 오류를 다루기 위해 비가우시안 대안으로 스트루던-티 프로세스(TPs)를 도입한다.
• 기대 개선과 불확실성 감소 기반의 할당 함수를 사용하며, 효율성을 위해 근사 업데이트 공식을 적용한다.
• 활성 샘플링을 이끄는 순차적 설계 히وري스틱으로 tMSE(대상 평균 제곱 오차)와 ICU(정보 이론 기반 기준)를 적용한다.
• 수준 집합 추정에서 분류 오차를 측정하기 위해 손실 함수 L(f, f̂) = ∫𝕀(sign f̂(x) ≠ sign f(x)) dμ를 사용한다.
• 버무다안 옵션 평가에서 시간 가치 f(x;t)의 노이즈 있는 샘플을 생성하기 위해 확률적 제어 프레임워크 내에서 역순 추정을 적용한다.

실험 결과

연구 질문

• RQ1 무거운 꼬리 노이즈 조건에서 t-GP, TP, 분류 GP 모델이 표준 GP보다 수준 집합 추정 정확도에서 어떻게 다른가?
• RQ2 tMSE, MCU, cSUR, ICU 중 어떤 순차적 설계 히وري스틱이 최소한의 계산 오버헤드로 가장 정확한 수준 집합 재구성 성능을 내는가?
• RQ3 메타모델과 설계의 성능은 차원 수와 신호 대 노이즈 비율(SNR)에 따라 달라지는가?
• RQ4 특히 저차원 설정에서 더 복잡한 기준인 ICU와 비교해 간단한 히وري스틱인 tMSE가 성능을 따라잡을 수 있는가?
• RQ5 노이즈가 내재되어 있고 시뮬레이션 비용이 많이 드는 실제 응용, 예를 들어 버무다안 옵션 가격 설정에서 이러한 방법들은 어떻게 성능을 내는가?

주요 결과

• t-GP는 표준 GP를 항상 능가하며, 특히 무거운 꼬리 노이즈 조건에서 성능이 뛰어나다.
• tMSE 설계 히وري스틱은 저차원 문제에서 낮은 계산 비용으로 높은 정확도를 달성하며, 이 영역에서는 ICU와 같은 더 복잡한 기준보다 뛰어난 성능을 보인다.
• ICU는 고차원 또는 잘못 지정된 노이즈 상황에서 가장 뛰어난 성능을 보이며, 특히 SNR가 낮을 경우에 유리하다.
• 분류 GPs는 저-SNR 설정에서 성능 향상을 보이나, 그들의 신뢰 구간은 너무 넓어 신뢰도 캘리브레이션에 문제가 있음을 시사한다.
• t-GP와 표준 GP는 TP와 분류 GP보다 더 좁은 신뢰 구간을 생성하여 더 나은 불확실성 정량화를 보인다.
• 3차원 버무다안 최대 콜 옵션 사례에서 R=20 및 n*=100일 때, t-GP와 tMSE를 조합하면 수익 11.175(표준편차 0.020)를 기록하며, 최고 성능을 보인 ICU의 11.178에 근접하여 뛰어난 효율성을 입증한다.