[论文解读] Gradient Descent-based D-optimal Design for the Least-Squares Polynomial Approximation

Vitaly Zankin, Gleb Ryzhakov+1 more|arXiv (Cornell University)|Jun 18, 2018

Probabilistic and Robust Engineering Design参考文献 6被引用 4

一句话总结

本文提出了一种基于梯度下降的D-最优实验设计方法，用于最小二乘多项式逼近，通过优化信息矩阵的行列式来最小化近似误差。与LHS、Sobol'序列和Maxvol采样相比，该方法在更少样本下实现了更高的精度，同时表现出较慢的Lebesgue常数增长。

ABSTRACT

In this work, we propose a novel sampling method for Design of Experiments. This method allows to sample such input values of the parameters of a computational model for which the constructed surrogate model will have the least possible approximation error. High efficiency of the proposed method is demonstrated by its comparison with other sampling techniques (LHS, Sobol' sequence sampling, and Maxvol sampling) on the problem of least-squares polynomial approximation. Also, numerical experiments for the Lebesgue constant growth for the points sampled by the proposed method are carried out.

研究动机与目标

• 开发一种采样方法，通过优化实验设计来最小化最小二乘多项式逼近中的近似误差。
• 解决传统填充设计（如LHS、Sobol'序列）在使用最少样本时难以实现高精度的问题。
• 通过最小化设计矩阵的条件数，提高不确定性量化中代理建模的效率。
• 展示基于梯度的优化在多变量多项式逼近中D-最优设计的有效性。

提出的方法

• 通过最大化信息矩阵 $ A^T A $ 的行列式来优化D-最优性准则，其中 $ A $ 是基多项式取值的模型矩阵。
• 推导出对每个设计点的对数行列式目标函数的解析梯度，从而实现高效的优化。
• 使用梯度下降迭代更新设计点，以最大化 $ ext{det}(A^T A) $，从而改善最小二乘问题的条件性。
• 应用IPOP优化算法以处理非矩形区域并确保鲁棒收敛。
• 结合一元正交多项式的解析导数，以高效计算梯度。
• 在具有不同区域形状和多项式次数的多变量多项式逼近任务上验证了该方法。

实验结果

研究问题

• RQ1 基于梯度的D-最优性准则优化能否产生比标准采样方法更精确的最小二乘多项式逼近？
• RQ2 与LHS、Sobol'序列和Maxvol采样相比，该方法在近似误差和条件数方面表现如何？
• RQ3 在不同区域几何形状下，该方法所选点的Lebesgue常数增长行为如何？
• RQ4 该方法能否在保持高质量设计的同时有效应用于非矩形区域？

主要发现

• 所提出的基于梯度下降的D-最优设计在多个测试函数上显著降低了与LHS、Sobol'序列和Maxvol采样相比的近似误差。
• 该方法实现了更低的设计矩阵条件数，表明最小二乘解具有更好的数值稳定性。
• 所提出设计的Lebesgue常数增长缓慢，表明其在多项式逼近中具有良好的插值特性和稳定性。
• 该方法能有效对非矩形区域（如圆形、菱形）进行采样，实现良好的空间覆盖且聚类极少。
• 数值实验表明，即使样本数量减少，该方法仍优于标准采样技术。
• 解析梯度计算实现了高效的优化，使该方法可扩展至高维问题。