[논문 리뷰] Efficient uniform designs for multi-wave computer experiments

Daniel Williamson, Ian Vernon|arXiv (Cornell University)|2013. 09. 13.

Advanced Multi-Objective Optimization Algorithms참고 문헌 13인용 수 10

한 줄 요약

이 논문은 역사 매칭을 통해 아직 배제되지 않은(Not Ruled Out Yet, NROY) 영역, 특히 매우 작고 복잡한 컴퓨터 모델 입력 공간의 부분 영역에서 균일한 설계를 생성하기 위해 효율적인 진화 몽테카를로 알고리즘인 불가능성 기반 진화 몽테카를로(IDEMC)를 제안한다. 불가능성 척도를 기반으로 NROY 영역을 타깃으로 삼음으로써, IDEMC는 초소형 부분체적(예: 원래 공간의 0.001%)에서 기각 샘플링보다 수개의 주기 차이로 훨씬 더 높은 효율성을 달성하며, 기각 샘플링이 실패하는 경우에도 실행 가능한 샘플링을 가능하게 한다.

ABSTRACT

In this paper we tackle the problem of generating uniform designs in very small subregions of computer model input space that have been identified in previous experiments as worthy of further study. The method is capable of producing uniform designs in subregions of computer model input space defined by a membership function that consists of a continuous function passing a threshold test, and does so far more efficiently than current methods when these subregions are small. Our application is designing for regions of input space that are not ruled out by history matching, a statistical methodology applied in numerous diverse scientific applications whereby model runs are used to cut out regions of input space that are incompatible with real world observations. History matching defines a membership function for a region of input space that is not ruled out yet by observations in the form of a distance metric called implausibility. We use this distance metric to drive a new type of Evolutionary Monte Carlo algorithm with a uniform distribution on the not ruled out yet region as its target distribution. The algorithm can locate and generate uniform points within extremely small subspaces of the computer model input space with complex and even disconnected topologies. We illustrate the performance of the technique in comparison to current methods with a number of idealised examples. We then apply our algorithm to generating an optimal design for the not ruled out yet region of a galaxy simulation model called GALFORM following 4 previous waves of history matching where the target region is 0.001% the volume of the input space.

연구 동기 및 목표

• 역사 매칭 이후 남아 있는 컴퓨터 모델 입력 공간의 극히 작은, 복잡한 부분 영역에서 균일한 설계를 생성하는 데 도전하는 것.
• NROY 영역이 원래 입력 공간의 극히 작은 비율을 차지할 경우 기각 샘플링의 비효율성과 비가능성을 해결하는 것.
• 후속 실험 웨이브를 위해 NROY 영역의 양호한 커버리지가 보장되는 타깃 설정된 효율적 샘플링 방법을 개발하는 것.
• 기각 샘플링이 어떤 샘플도 생성할 수 없는 경우에도 NROY 영역이 비어 있는지 여부를 신뢰성 있게 탐지할 수 있도록 하는 것.
• NROY 영역에 대한 확장 가능하고 균일한 샘플링 프레임워크를 제공하여 최적의 다웨이브 컴퓨터 실험 설계를 지원하는 것.

제안 방법

• 불가능성 임계값으로 정의된 NROY 영역에서 균일한 목표 분포를 갖는 진화 몽테카를로 알고리즘을 사용한다.
• 동적 불가능성 단계 선택 전략을 활용하여 NROY 영역 쪽으로 탐색을 이끌며, 임계값을 조정하여 가장 관련성이 높은 부분 영역에 집중적으로 샘플링한다.
• 입력 공간에서 점차적으로 새로운 점을 제안하고, 이들의 불가능성 점수를 목표 임계값과 비교하여 수용 또는 기각함으로써 NROY 영역으로의 수렴을 보장한다.
• 마르코프 체인 몽테카를로 원리와 역사 매칭 프레임워크를 융합하여, 복잡한 위상 구조를 가진 분리된 또는 고차원 부분공간을 효율적으로 탐색한다.
• NROY 영역이 원래 입력 부피의 10^-5에서 10^-18 수준으로 매우 작을 경우에도 강건한 성능을 유지를 위한 설계이다.
• 샘플링 중에 전체 컴퓨터 모델을 직접 시뮬레이션하지 않고도 에뮬레이터를 사용해 불가능성 점수를 신속하게 계산한다.

실험 결과

연구 질문

• RQ1 역사 매칭에 의해 배제되지 않은 컴퓨터 모델 입력 공간의 극히 작은 부분 영역에서 효율적인 균일 설계를 생성할 수 있는가?
• RQ2 기각 샘플링과 비교해 IDEMC의 효율성은 초소형 NROY 영역(예: 원래 부피의 0.1% 이하)에서 어떻게 나타나는가?
• RQ3 기각 샘플링이 실패할 경우에도 IDEMC는 NROY 영역이 비어 있는지 여부를 신뢰성 있게 탐지할 수 있는가?
• RQ4 수축하는 NROY 영역에서 커버리지와 정보 수확량을 극대화하기 위해 다웨이브 컴퓨터 실험을 어떻게 설계할 수 있는가?
• RQ5 균일한 NROY 영역 샘플링이 후속 웨이브에 대한 최적의 설계 선택을 가능하게 하는 데서 수행하는 역할은 무엇인가?

주요 결과

• 실제 응용 사례인 GALFORM 은하 시뮬레이션 모델에서 IDEMC는 기각 샘플링보다 18배 이상 높은 효율성을 보였다. 이 경우 NROY 영역은 원래 입력 부피의 0.001%였다.
• 원래 공간의 0.1% 이하인 목표 부분체적에서는 IDEMC의 효율성이 기각 샘플링을 크게 뛰어넘었으며, 부피가 점점 작아질수록 효율성 향상 폭이 급격히 증가했다.
• NROY 영역 부피가 10^-18인 시뮬레이션 사례에서 기각 샘플링은 비가능했지만, IDEMC는 성공적으로 해당 영역을 탐색하고 샘플링을 수행했다.
• 알고리즘은 GALFORM 모델의 핵심 매개변수에서 잠재적인 이중모드성 구조를 드러내어, 기각 샘플링이 놓쳤을 수 있는 NROY 영역 내 복잡한 구조를 발견했다.
• 불가능성 임계값이 목표 이상으로 수렴함을 관찰함으로써, IDEMC는 NROY 영역이 비어 있는지 여부를 신뢰성 있게 탐지할 수 있으며, 이는 모델 적합성 진단 도구로 기능한다.
• 심지어 매우 미세한 NROY 영역에서도 대규모 균일 샘플을 생성함으로써, 향후 역사 매칭 웨이브를 지원하며, 강력한 통계적 추론과 설계 선택을 가능하게 한다.