[논문 리뷰] A supermartingale approach to Gaussian process based sequential design of experiments

Julien Bect, François Bachoc외 1명|Bern Open Repository and Information System (University of Bern)|2016. 08. 03.

Advanced Multi-Objective Optimization Algorithms인용 수 5

한 줄 요약

이 논문은 가우시안 프로세스 기반 순차적 실험 설계, 특히 단계적 불확실성 감소(SUR) 전략에 대해 거의 확실한 일致성(consistency)을 확립하기 위해 슈퍼마팅게일 프레임워크를 도입한다. 잔여 불확실성 측도가 슈퍼마팅게일을 이룬다는 것을 증명함으로써, 저자들은 글로벌 최적화, 근사 집합 추정, 신뢰성 분석에 적용 가능한 일반적인 일치성 결과를 도출한다. 이는 근사 집합을 대상으로 하는 SUR 전략에 대한 첫 번째 일치성 증명과 연속적 표본 경로를 가진 예상 향상(expected improvement)에 대한 더 일반적인 증명을 제공한다.

ABSTRACT

Gaussian process (GP) models have become a well-established frameworkfor the adaptive design of costly experiments, and notably of computerexperiments. GP-based sequential designs have been found practicallyefficient for various objectives, such as global optimization(estimating the global maximum or maximizer(s) of a function),reliability analysis (estimating a probability of failure) or theestimation of level sets and excursion sets. In this paper, we studythe consistency of an important class of sequential designs, known asstepwise uncertainty reduction (SUR) strategies. Our approach relieson the key observation that the sequence of residual uncertaintymeasures, in SUR strategies, is generally a supermartingale withrespect to the filtration generated by the observations. Thisobservation enables us to establish generic consistency results for abroad class of SUR strategies. The consistency of several popularsequential design strategies is then obtained by means of this generalresult. Notably, we establish the consistency of two SUR strategiesproposed by Bect, Ginsbourger, Li, Picheny and Vazquez (Stat. Comp.,2012)---to the best of our knowledge, these are the first proofs ofconsistency for GP-based sequential design algorithms dedicated to theestimation of excursion sets and their measure. We also establish anew, more general proof of consistency for the expected improvementalgorithm for global optimization which, unlike previous results inthe literature, applies to any GP with continuous sample paths.

연구 동기 및 목표

• 넓은 범위의 가우시안 프로세스 기반 순차적 설계 전략에 대해 일반적인 일치성 결과를 확립하기 위해.
• 특히 근사 집합과 측도 추정을 위한 인기 있는 SUR 전략에 대한 이론적 일치성 증명의 부족을 해결하기 위해.
• 공분산 함수에 대한 제약 조건을 제거함으로써 기존의 예상 향상에 대한 일치성 결과를 일반화하기 위해.
• 순차적 설계에서의 불확실성 감소 수열의 슈퍼마팅게일 성질을 정식화하기 위해.
• 적응형 실험 설계의 수렴 분석을 위한 통합 확률적 프레임워크를 제공하기 위해.

제안 방법

• 저자들은 SUR 전략에서의 잔여 불확실성 측도 수열을 관측으로 생성된 필터레이션에 대해 슈퍼마팅게일로 모델링한다.
• 그들은 슈퍼마팅게일 수렴 정리를 활용하여, 약간의 정규성 조건 하에 불확실성 측도가 거의 확실히 0으로 수렴함을 증명한다.
• 이 프레임워크는 측정 가능하고 순차적 관측 하에서 슈퍼마팅게일 성질을 만족하는 임의의 불확실성 기능에 대해 적용 가능하다.
• 이 방법은 최적 점의 랜덤 닫힌 집합에서 타당한 샘플링 전략을 구성하기 위해 측정 가능한 선택 정리에 의존한다.
• 핵심 기술 도구로는 조건부 분포와 샘플링 기준의 연속성 가정을 사용하여 최적 설계 점의 존재를 보장한다.
• 이 접근은 글로벌 최적화, 신뢰성 분석, 수준 집합 추정, 근사 집합 추정의 네 가지 표준 문제에 적용하여 검증되었다.

실험 결과

연구 질문

• RQ1 가우시안 프로세스 모델에 대해 일반 조건 하에서 단계적 불확실성 감소(SUR) 전략의 일치성이 확립될 수 있는가?
• RQ2 연속적 표본 경로를 가진 임의의 가우시안 프로세스에 대해 예상 향상 알고리즘이 거의 확실히 수렴하는가?
• RQ3 순차적 설계에서의 불확실성 감소가 잔여 불확실성의 거의 확실한 수렴으로 이어지는 일반 조건은 무엇인가?
• RQ4 슈퍼마팅게일 성질을 사용하여 다양한 실험 설계 목표 간의 일치성 증명을 통합할 수 있는가?
• RQ5 근사 집합과 그 측도를 대상으로 하는 SUR 전략의 수렴에 대한 이론적 기초는 무엇인가?

주요 결과

• 이 논문은 근사 집합과 그 측도 추정을 목표로 하는 가우시안 프로세스 기반 순차적 설계 전략에 대해 처음으로 거의 확실한 일치성 증명을 확립한다.
• 잔여 불확실성 측도 수열이 슈퍼마팅게일을 이룬다는 것을 보여줌으로써 SUR 전략에 대한 일반 일치성 결과를 도출한다.
• 연속적 표본 경로를 가진 임의의 가우시안 프로세스에 대해 예상 향상 알고리즘이 거의 확실히 수렴함을 증명하였으며, 이는 빈 공집합(NEB) 성질을 요구하지 않는다.
• 이 프레임워크는 글로벌 최적화, 신뢰성 분석, 수준 집합 추정 등 다양한 목표에 대해 최소한의 가정 하에서도 적용 가능하다.
• 슈퍼마팅게일 성질은 다양한 순차적 설계 철학 간의 수렴 분석을 통합하는 데 기여한다.
• 측정 가능한 선택 정리를 통해, 샘플링 기준이 불연속일 경우에도 최적 설계 점의 존재가 보장된다.