[논문 리뷰] Adaptive design of supercomputer experiments

Robert B. Gramacy, Herbert K. H. Lee|arXiv (Cornell University)|2008. 05. 28.

Machine Learning and Algorithms참고 문헌 37인용 수 16

한 줄 요약

이 논문은 계산 비용을 최소화하면서 비정상적인 반응 표면을 모델링할 수 있는 베이지안 나무형 가우시안 프로세스를 사용하는 적응형 순차 설계 프레임워크를 제안한다. 비동기적, 에이전트 기반 환경에서 예측 불확실성을 활용해 실험 실행을 이끌어내어 고정된 희소 설계에 비해 공간적 커버리지와 정확도를 향상시킨다.

ABSTRACT

Computer experiments are often performed to allow modeling of a response surface of a physical experi-ment that can be too costly or difficult to run except using a simulator. Running the experiment over a dense grid can be prohibitively expensive, yet running over a sparse design chosen in advance can result in obtaining insufficient information in parts of the space, particularly when the surface is nonstation-ary. We propose an approach which automatically explores the space while simultaneously fitting the response surface, using predictive uncertainty to guide subsequent experimental runs. The newly devel-oped Bayesian treed Gaussian process is used as the surrogate model, and a fully Bayesian approach allows explicit nonstationary measures of uncertainty. Our adaptive sequential design framework has been developed to cope with an asynchronous, random, agent-based supercomputing environment. We take a hybrid approach which melds optimal strategies from the statistics literature with flexible strate-gies from the active learning literature. The merits of this approach are borne out in several examples, including the motivating example of a computational fluid dynamics simulation of rocket booster. Key words: nonstationary spatial model, treed partitioning, sequential design, active learning 1

연구 동기 및 목표

• 슈퍼컴퓨터 실험에서 고밀도 격자 샘플링의 높은 비용과 비효율성을 해결하기 위해.
• 비정상적인 반응 표면에서 중요한 영역을 놓칠 수 있는 고정된 희소 설계의 한계를 극복하기 위해.
• 입력 공간을 적응적으로 탐색하면서 동시에 정확한 대체 모델을 구축할 수 있는 프레임워크를 개발하기 위해.
• 비동기적, 에이전트 기반 슈퍼컴퓨팅 환경에서 효율적인 순차적 실험을 가능하게 하기 위해.
• 통계에서 유래한 최적 설계 전략과 민첩한 활성 학습 접근법을 융합하여 반응 표면 추정을 향상시키기 위해.

제안 방법

• 비정상적인 공간적 행동을 반영하기 위해 반응 표면에 대해 베이지안 나무형 가우시안 프로세스(B-TGP)를 대체 모델로 사용한다.
• B-TGP에서 유도된 예측 불확실성이 새로운 실험 실행의 선택을 이끌어내며, 높은 불확실성 영역에 집중한다.
• 완전한 베이지안 추론 접근법을 통해 의사결정에 활용할 수 있는 명시적이고 비정상적인 불확실성 측도를 제공한다.
• 비동기적, 임의의, 에이전트 기반 실행을 지원하여 대규모 슈퍼컴퓨팅 환경에 적합하다.
• 통계적 최적 설계 원칙과 활성 학습 전략을 융합하여 탐색과 이용의 균형을 이룬다.

실험 결과

연구 질문

• RQ1 계산적으로 비용이 많이 들는 슈퍼컴퓨터 실험에서 고차원적이고 비정상적인 반응 표면을 어떻게 효율적으로 탐색할 수 있는가?
• RQ2 모델 정확도와 공간적 커버리지 최대화를 위해 시뮬레이션 횟수를 최소화하는 샘플링 전략은 무엇인가?
• RQ3 분산적이고 비동기적인 컴퓨팅 환경에서 예측 불확실성이 순차적 실험 설계를 어떻게 효과적으로 이끌 수 있는가?
• RQ4 베이지안 나무형 가우시안 프로세스가 복잡한 비정상적인 반응 표면을 포괄하는 데 있어 기존의 정상 모델보다 얼마나 뛰어난가?
• RQ5 최적 설계 원칙은 어떻게 활성 학습과 융합되어 슈퍼컴퓨터 실험의 적응형 설계를 향상시킬 수 있는가?

주요 결과

• 고정된 희소 설계에 비해 비정상 영역에서 특히 반응 표면 추정 정확도가 크게 향상된다는 점.
• 예측 불확실성의 활용이 높은 불확실성 영역을 효과적으로 탐색하여 필요한 시뮬레이션 횟수를 줄인다는 점.
• 베이지안 나무형 가우시안 프로세스는 의사결정을 향상시키는 명시적이고 비정상적인 불확실성 측도를 제공한다는 점.
• 비동기적, 에이전트 기반 슈퍼컴퓨팅 환경에서 프레임워크가 강건하여 확장 가능하고 분산된 실험을 가능하게 한다는 점.
• 실제 추진체 부스터의 유체역학 시뮬레이션에서 강력한 성능을 보이며 실용적 유용성을 입증했다는 점.