[논문 리뷰] Space-filling design for nonlinear models

Chang-Han Rhee, Enlu Zhou외 1명|arXiv (Cornell University)|2017. 10. 31.

Advanced Multi-Objective Optimization Algorithms참고 문헌 16인용 수 4

한 줄 요약

이 논문은 비선형 컴퓨터 모델의 출력 다양체를 균일하게 샘플링하는 것에 초점을 맞춘 반복적 공간 메우기 설계 알고리즘을 제안한다. 이는 입력 매개변수 공간이 아닌 출력 다양체를 샘플링함으로써, 최소한의 시뮬레이션으로도 모델 행동을 효율적이고 신뢰성 있게 표현할 수 있도록 보장한다. 이 방법은 역밀도 추정과 국소 기하학을 활용하여 출력 변동성이 높은 영역을 우선순위에 두며, 와서르슈타인 거리 기준으로 수렴 속도가 $ O(N^{-\frac{1-\epsilon}{2(m+1)}}) $ 수준이 된다.

ABSTRACT

Performing a computer experiment can be viewed as observing a mapping between the model parameters and the corresponding model outputs predicted by the computer model. In view of this, experimental design for computer experiments can be thought of as devising a reliable procedure for finding configurations of design points in the parameter space so that their images represent the manifold parametrized by such a mapping (i.e., computer experiments). Traditional space-filling designs aim to achieve this goal by filling the parameter space with design points that are as "uniform" as possible in the parameter space. However, the resulting design points may be non-uniform in the model output space and hence fail to provide a reliable representation of the manifold, becoming highly inefficient or even misleading in case the computer experiments are non-linear. In this paper, we propose an iterative algorithm that fills in the model output manifold uniformly---rather than the parameter space uniformly---so that one could obtain a reliable understanding of the model behaviors with the minimal number of design points.

연구 동기 및 목표

• 기존의 공간 메우기 설계가 비선형 컴퓨터 실험에서 비효율적이고 오해의 소지가 있음을 해결하기 위해, 입력 공간에서의 균일한 샘플링이 출력 다양체의 진정한 기하학을 포착하지 못함을 인지한다.
• 매개변수에서 출력으로의 사상이 매우 비선형일 경우에도 모델 출력 다양체의 균일한 커버리지가 보장되는 설계 전략을 개발한다.
• 비용이 많이 드는 시뮬레이션 횟수를 최소화하면서도 전체 출력 공간에서 모델 행동을 신뢰롭고 정확하게 표현할 수 있도록 한다.
• 이론적으로 탄탄한 반복적 알고리즘을 제공하여, 국소 기하학과 출력 다양체의 밀도에 기반해 적응적으로 설계 포인트를 선택한다.

제안 방법

• 이 방법은 비선형 사상에 의해 그 영상이 출력 다양체 전역에서 균일하게 분포되도록 입력 공간에서 설계 포인트를 반복적으로 선택한다.
• 출력 공간에서 희박하게 샘플링된 영역을 식별하고 우선순위를 높이기 위해 국소 역밀도 추정기를 활용한다.
• 설계 포인트의 선택 기준으로 와서르슈타인 거리 기반 기준을 사용하여, 출력의 경험적 분포와 다양체 상의 목표 균일 분포 사이의 이질성을 측정한다.
• 균일하게 분포된 출력을 얻기 위해 필요한 입력 변형을 추정하기 위해 역사상의 국소 선형 근사를 활용한다.
• 희박한 출력 영역의 탐색과 균일 커버리지 추세 간의 균형을 유지하면서 설계 포인트를 반복적으로 개선한다.
• 이론적 분석은 역사상의 리프시츠 연속성과 출력 분포의 밀도에 대한 경계를 기반으로 수렴 속도를 확립한다.

실험 결과

연구 질문

• RQ1 높은 비선형성의 모델에서 입력 매개변수 공간이 아닌 출력 다양체를 균일하게 커버하는 컴퓨터 실험 설계가 가능할 수 있는가?
• RQ2 모델 행동의 전체 범위를 균일하게 대표할 수 있도록, 최소한의 입력 설정 조합을 효율적으로 선택하는 방법은 무엇인가?
• RQ3 이러한 설계 절차의 수렴 속도는 시뮬레이션 횟수의 함수로 어떻게 표현될 수 있는가?
• RQ4 입력 공간이 크지만 출력 다양체는 저차원이며 높은 곡률을 띠는 경우, 이 방법은 어떻게 대처하는가?

주요 결과

• 제안된 알고리즘은 경험적 출력 분포와 다양체 상의 균일 목표 분포 사이의 와서르슈타인 거리에서 $ O(N^{-\frac{1-\epsilon}{2(m+1)}}) $ 수준의 수렴 속도를 달성한다.
• 특히 곡률이 높거나 비균일한 사상이 존재하는 영역에서, 기존의 공간 메우기 설계보다 훨씬 우수한 성능을 보이며 출력 다양체의 진정한 기하학을 포착한다.
• 이론적 분석 결과, 모델 사상에 대한 미약한 정규성 조건 하에 추정된 출력 밀도와 진짜 출력 밀도 사이의 기대 이질성이 시뮬레이션 횟수 증가에 따라 감소함을 보여준다.
• 동일하거나 유사한 출력 영역로 사상되는 입력 공간의 중복 영역을 효과적으로 피하여 계산 낭비를 줄인다.
• 수렴 속도는 입력 공간의 내재 차원 $ m $ 과 역사상의 매끄러움에 따라 달라지며, 더 매끄러운 모델일수록 더 빠른 수렴을 보인다.