[论文解读] Global optimization in inverse problems: A comparison of Kriging and radial basis functions

Wolfgang Jacquet, Bart Truyen+3 more|ArXiv.org|Jun 22, 2005

Advanced Multi-Objective Optimization Algorithms参考文献 7被引用 6

一句话总结

本文比较了在昂贵且病态的反问题中，Kriging与径向基函数（RBFs）在全局优化中的表现。提出通过动态更新基函数来改进RBF算法，以平衡探索与正则化，发现其相较于Kriging更具优势，原因在于能更好地保持正则化并降低对噪声数据过拟合的风险。

ABSTRACT

We study global optimization (GOP) in the framework of non-linear inverse problems with a unique solution. These problems are in general ill-posed. Evaluation of the objective function is often expensive, as it implies the solution of a non-trivial forward problem. The ill-posedness of these problems calls for regularization while the high evaluation cost of the objective function can be addressed with response surface techniques. The global optimization using Radial Basis Function (RBF) as presented by Gutmann (2001) is a response surface global optimization technique with regularizing aspects. Alternatively, several publications put forward global optimization using a probabilistic approach based upon Kriging as an efficient technique for non-linear multi modal objective functions, thereby providing a credible stopping rule (Jones2001). After comparing both concepts, we argue that in case of non-linear inverse problems an adaptation of the RBF algorithm seems to be the most promising approach.

研究动机与目标

• 评估并比较Kriging与基于RBF的响应面方法在非线性反问题中全局优化的性能。
• 解决由于求解复杂正向问题导致目标函数计算成本高昂的挑战。
• 研究正则化与探索-利用平衡如何影响全局优化中的收敛性与可靠性。
• 确定在病态反问题中，概率性Kriging还是确定性RBF更有效地保持正则化。
• 提出一种改进的RBF算法，可在动态更新基函数的同时保持正则化。

提出的方法

• 使用径向基函数（RBFs）通过采样点处值的线性组合与低次多项式插值，构建目标函数的代理模型。
• 采用具有特定多项式次数与核函数行为条件的RBF插值，如多二次函数、高斯核及薄板样条。
• 实施序列优化策略：基于当前RBF代理模型，迭代选择新的评估点，平衡未探索区域的探索与有希望区域的利用。
• 通过动态调整基函数参数（如高斯RBF中的γ）改进RBF方法，以维持正则化并避免对噪声或稀疏数据的过拟合。
• 将RBF方法与Kriging进行比较，后者使用估计均值与方差的概率模型引导采样，依赖期望改进作为选择准则。
• 在目标函数昂贵且问题病态（需正则化以稳定解）的约束下评估两种方法。

实验结果

研究问题

• RQ1 在非线性反问题中，Kriging与基于RBF的全局优化方法在收敛性与可靠性方面如何比较？
• RQ2 RBF方法能否通过自适应调整以维持正则化，同时改善病态问题中探索与利用的平衡？
• RQ3 在优化至全局最小值时，Kriging的概率框架是否会在均值与方差估计中引入偏差？
• RQ4 与Kriging的参数自适应相比，RBF中自适应基函数选择在多大程度上更好地保持了正则化？
• RQ5 Kriging中使用的期望改进准则能否有效迁移到RBF框架中以提升优化性能？

主要发现

• 采用自适应基函数更新的RBF全局优化方法，相较于Kriging，在病态反问题中更具适用性，因其能更好地保持正则化。
• Kriging依赖于顺序观测的参数估计，在接近全局最小值时会导致均值与方差的低估，从而削弱统计可靠性。
• RBF方法通过维持结构化、非自适应的正则化框架，避免了过拟合，尤其在使用控制γ参数的高斯或多二次RBF时更为显著。
• 自适应RBF可在不牺牲正则化的情况下融入数据驱动的更新，使其在存在噪声或病态性的问题中比Kriging更具鲁棒性。
• Kriging中使用的期望改进准则可有意义地适配至RBF框架，表明存在发展混合或改进型RBF优化策略的潜力。
• 由于基函数方向性偏差，Kriging倾向于偏向局部极小值，这在Hessian结构非均匀的问题中降低了其有效性，而RBF在合理核选择下并无此固有缺陷。