[논문 리뷰] Bayesian Target-Vector Optimization for Efficient Parameter Reconstruction

Matthias Plock, Anna Andrle외 2명|arXiv (Cornell University)|2022. 02. 23.

Advanced Measurement and Metrology Techniques참고 문헌 59인용 수 10

한 줄 요약

이 논문은 높은 차원의 미량 측정 문제에서 수백 개의 실험 관측치를 바탕으로 효율적인 매개변수 복원을 위한 새로운 베이지안 최적화 프레임워크인 베이지안 타겟벡터 최적화(BTVO)를 제안한다. 데이터 채널 간에 공통된 공분산 구조를 공유하고, χ² 분포를 더 잘 모델링하기 위해 효과적 자유도(˜K) 파라미터를 도입함으로써 BTVO는 계산 오버헤드를 감소시키고 수렴성을 향상시킨다. 이 방법은 비용이 많이 드는 시뮬레이션에서 레벤버그-마르카르트 방법보다 뚜렷이 뛰어나며, 최소한의 정규 모델 평가 수로 서rogate 보강 MCMC를 통해 정확한 불확실성 정량화를 가능하게 한다.

ABSTRACT

Parameter reconstructions are indispensable in metrology. Here, the objective is to to explain $K$ experimental measurements by fitting to them a parameterized model of the measurement process. The model parameters are regularly determined by least-square methods, i.e., by minimizing the sum of the squared residuals between the $K$ model predictions and the $K$ experimental observations, $\chi^2$. The model functions often involve computationally demanding numerical simulations. Bayesian optimization methods are specifically suited for minimizing expensive model functions. However, in contrast to least-square methods such as the Levenberg-Marquardt algorithm, they only take the value of $\chi^2$ into account, and neglect the $K$ individual model outputs. We present a Bayesian target-vector optimization scheme with improved performance over previous developments, that considers all $K$ contributions of the model function and that is specifically suited for parameter reconstruction problems which are often based on hundreds of observations. Its performance is compared to established methods for an optical metrology reconstruction problem and two synthetic least-squares problems. The proposed method outperforms established optimization methods. It also enables to determine accurate uncertainty estimates with very few observations of the actual model function by using Markov chain Monte Carlo sampling on a trained surrogate model.

연구 동기 및 목표

• 계산 비용이 많이 드는 모델을 가진 고차원 매개변수 복원 문제에서 전통적인 최소제곱법(예: 레벤버그-마르카르트 방법)의 비효율성을 해결하기 위해.
• 베이지안 최적화에서 K개의 데이터 채널에 대해 K개의 독립된 가우시안 프로세스를 훈련시키는 데 발생하는 높은 계산 비용을 해결하기 위해.
• 표준 카이제곱 가정이 실패하는 고K 설정에서 χ² 분포를 더 잘 모델링하기 위해.
• 최소한의 정규 모델 평가 수로 훈련된 서rogate 모델 위에서 마르코프 체인 몬테카를로(MCMC) 샘플링을 통해 정확한 불확실성 정량화를 가능하게 하기 위해.
• 실제 광학 측정 문제와 합성 최소제곱 문제에서 이 방법의 우수성을 입증하기 위해.

제안 방법

• K개의 가우시안 프로세스 간에 공통된 공분산 구조를 도입함으로써 최적화 반복마다 행렬 분해의 계산 오버헤드를 O(K)에서 O(1)로 감소시킨다.
• 고차원 설정에서 χ² 분포를 더 잘 근사하기 위해 K 대신 효과적 자유도(˜K)를 도입한다.
• 이전 모델 평가로부터 최대우도추정을 사용해 ˜K를 결정함으로써 χ² 분포 모델링 정확도를 향상시킨다.
• 최적화 과정 중에 훈련된 서rogate 모델을 활용해 불확실성 정량화를 위한 효율적인 MCMC 샘플링을 수행한다.
• 훈련된 서rogate 우도 위에서 MCMC 샘플링을 적용하여 후행 백분위수와 매개변수 상관관계를 추정하며, 정규 모델 평가 수를 최소화한다.
• 실제 GIXRF 데이터셋과 두 개의 NIST 테스트 함수를 대상으로 방법을 검증하였으며, 레벤버그-마르카르트 방법 및 기타 기준 방법과 비교하였다.

실험 결과

연구 질문

• RQ1 K > 100개의 데이터 채널을 가진 매개변수 복원 문제에 대해, 비용이 많이 드는 계산 부담 없이 베이지안 최적화를 어떻게 스케일링할 수 있는가?
• RQ2 표준 카이제곱 가정이 붕괴하는 고K 설정에서 χ² 분포는 어떻게 더 잘 모델링할 수 있는가?
• RQ3 데이터 채널 간에 공통된 공분산 구조를 도입할 경우 정확도를 유지하면서 계산 오버헤드를 줄일 수 있는가?
• RQ4 최적화 과정 중에 훈련된 서rogate 모델을 활용해 MCMC 기반 불확실성 정량화를 얼마나 빠르게 가속화할 수 있는가?
• RQ5 수렴 속도와 정확도 측면에서 BTVO는 레벤버그-마르카르트 방법보다 어떻게 비교되는가?

주요 결과

• 광학 측정 문제에서 BTVO는 레벤버그-마르카르트 방법 대비 최소 평가 수를 최대 50% 감소시키며 더 빠른 수렴을 달성했다.
• 최대우도 추정을 통해 결정된 효과적 자유도 ˜K는 고K 설정에서 χ² 분포 모델링 정확도를 크게 향상시켜 더 효율적인 최적화를 가능하게 했다.
• 최적화 후 단 50개의 추가 MCMC 샘플만으로도 서rogate 보강 MCMC가 정확한 MCMC 대비 백분위수 추정에서 상대 오차 1%를 기록했으며, 이는 이론적 임계값 8×10⁻³ 이하로 매우 낮았다.
• 이 방법은 임계 치수(cd)와 입사각 오프셋(∆θ) 사이의 비선형 상관관계를 정확히 포착하여 주된 복원 결과와 일치함을 확인했다.
• MGH17 테스트 함수에서 BTVO는 단지 100회의 정규 모델 평가로도 정확한 불확실성 추정을 달성하여 높은 효율성을 입증했다.
• 기존 MCMC에 비해 정규 모델 평가 수를 극도로 줄임으로써 정확한 불확실성 정량화와 후행 샘플링을 가능하게 하여 계산 비용을 수개의 주기로 감소시켰다.