[论文解读] Bayesian Target-Vector Optimization for Efficient Parameter Reconstruction

Matthias Plock, Anna Andrle+2 more|arXiv (Cornell University)|Feb 23, 2022

Advanced Measurement and Metrology Techniques参考文献 59被引用 10

一句话总结

该论文提出贝叶斯目标向量优化（BTVO），一种新颖的贝叶斯优化框架，用于在具有数百个实验观测值的高维计量问题中高效实现参数重构。通过在数据通道间共享公共协方差结构，并引入有效自由度（˜K）参数以更准确地建模χ²分布，BTVO降低了计算开销并提升了收敛性能。该方法在昂贵的模拟中显著优于列文伯格-马尔夸特法，并通过代理增强型MCMC实现了精确的不确定性量化，且仅需极少的前向模型评估次数。

ABSTRACT

Parameter reconstructions are indispensable in metrology. Here, the objective is to to explain $K$ experimental measurements by fitting to them a parameterized model of the measurement process. The model parameters are regularly determined by least-square methods, i.e., by minimizing the sum of the squared residuals between the $K$ model predictions and the $K$ experimental observations, $\chi^2$. The model functions often involve computationally demanding numerical simulations. Bayesian optimization methods are specifically suited for minimizing expensive model functions. However, in contrast to least-square methods such as the Levenberg-Marquardt algorithm, they only take the value of $\chi^2$ into account, and neglect the $K$ individual model outputs. We present a Bayesian target-vector optimization scheme with improved performance over previous developments, that considers all $K$ contributions of the model function and that is specifically suited for parameter reconstruction problems which are often based on hundreds of observations. Its performance is compared to established methods for an optical metrology reconstruction problem and two synthetic least-squares problems. The proposed method outperforms established optimization methods. It also enables to determine accurate uncertainty estimates with very few observations of the actual model function by using Markov chain Monte Carlo sampling on a trained surrogate model.

研究动机与目标

• 解决传统最小二乘法（如列文伯格-马尔夸特法）在计算成本高昂的模型中进行高维参数重构时效率低下的问题。
• 克服在贝叶斯优化中为K个数据通道独立训练K个高斯过程所带来的高计算成本。
• 改进在K值较大时标准卡方分布假设失效情况下的χ²分布建模。
• 通过在训练好的代理模型上进行马尔可夫链蒙特卡洛（MCMC）采样，实现代价极低的前向模型评估次数下的精确不确定性量化。
• 在真实光学计量和合成最小二乘问题上展示该方法的优越性。

提出的方法

• 在K个高斯过程中引入共享协方差结构，将每次迭代的计算开销从O(K)降低至O(1)的矩阵分解。
• 引入有效自由度（˜K）而非K，以在高维设置下更准确地逼近χ²分布。
• 利用最大似然估计从先前的模型评估中确定˜K，从而提升χ²分布建模的准确性。
• 利用优化过程中训练的代理模型，实现高效的MCMC采样以进行不确定性量化。
• 在代理似然函数上应用MCMC采样，以极少的前向评估次数估计后验分位数和参数相关性。
• 在真实GIXRF数据集和两个NIST测试函数上验证该方法，并与列文伯格-马尔夸特法及其他基准方法进行比较。

实验结果

研究问题

• RQ1 贝叶斯优化能否在K > 100个数据通道的参数重构问题中实现可扩展性，且计算成本不致过高？
• RQ2 在标准卡方分布假设失效的高K设置下，如何更优地建模χ²分布？
• RQ3 在数据通道间共享协方差结构是否能在降低计算开销的同时保持准确性？
• RQ4 通过在优化过程中训练的代理模型，MCMC的不确定性量化可被加速到何种程度？
• RQ5 BTVO在收敛速度和准确性方面与列文伯格-马尔夸特法相比表现如何？

主要发现

• 在光学计量问题中，BTVO相比列文伯格-马尔夸特法将所需模型评估次数减少了高达50%，实现了更快的收敛速度。
• 通过最大似然估计确定的有效自由度˜K，在高K设置下显著提升了χ²分布建模的准确性，从而实现了更高效的优化。
• 仅在优化后增加50次MCMC采样，代理增强型MCMC在分位数估计上的相对误差仅为1%，远低于理论阈值8×10⁻³。
• 该方法成功捕捉到了参数间的非线性相关性，例如关键尺寸（cd）与入射角偏移（∆θ）之间的关系，与主重构结果一致。
• 在MGH17测试函数上，BTVO仅通过100次前向模型评估即获得准确的不确定性估计，展现出极高的效率。
• 该方法实现了精确的不确定性量化和后验抽样，且前向模型评估次数仅为标准MCMC的极小部分，计算成本降低了数量级。