[论文解读] Elementary Symmetric Polynomials for Optimal Experimental Design

Zelda Mariet, Suvrit Sra|arXiv (Cornell University)|May 24, 2017

Advanced Optimization Algorithms Research参考文献 26被引用 8

一句话总结

本文提出了ESP-Design，一种新颖的最优实验设计框架，利用初等对称多项式（ESPs）统一并插值A-最优与D-最优设计。该框架提出了具有可证明近似保证的贪心算法与凸松弛算法，实证表明贪心方法在性能上与Fedorov的交换算法相当，但运行速度显著更快，同时建立了关于正定矩阵上ESPs测地线对数凸性的新理论结果。

ABSTRACT

We revisit the classical problem of optimal experimental design (OED) under a new mathematical model grounded in a geometric motivation. Specifically, we introduce models based on elementary symmetric polynomials; these polynomials capture "partial volumes" and offer a graded interpolation between the widely used A-optimal design and D-optimal design models, obtaining each of them as special cases. We analyze properties of our models, and derive both greedy and convex-relaxation algorithms for computing the associated designs. Our analysis establishes approximation guarantees on these algorithms, while our empirical results substantiate our claims and demonstrate a curious phenomenon concerning our greedy method. Finally, as a byproduct, we obtain new results on the theory of elementary symmetric polynomials that may be of independent interest.

研究动机与目标

• 通过初等对称多项式（ESPs）在单一几何框架下统一A-与D-最优实验设计。
• 开发高效算法——贪心与凸松弛——用于计算基于ESPs的设计，并提供理论近似保证。
• 建立关于正定矩阵黎曼流形上ESPs测地线对数凸性的新理论结果。
• 将Avron与Boutsidis的行列式列子集选择结果推广至所有ESPs，从而为贪心选择提供性能界。
• 通过实证验证ESP-Design可实现A-与D-最优性之间的平滑插值，平衡预测准确率与设计稀疏性。

提出的方法

• 将最优实验设计公式化为最小化基于逆费雪信息矩阵第ℓ个初等对称多项式的目标函数。
• 通过利用ESPs在正定流形上的测地线对数凸性，推导出ESP-Design问题的凸松弛形式。
• 提出一种贪心算法，通过体积采样选择实验，其理论保证将Avron与Boutsidis的迹基结果推广至所有ESPs。
• 引入一种涉及函数a(H)的对偶形式，该函数映射至正定矩阵空间，但其一般ℓ下的闭式表达仍未知。
• 采用连续松弛与拉格朗日对偶性，推导出贪心算法的近似界。
• 在合成数据集与真实世界数据集（包括混凝土抗压强度数据集）上验证该方法，以评估预测误差与设计稀疏性。

实验结果

研究问题

• RQ1 初等对称多项式能否提供一个统一的、几何动机充分的框架，用于在实验设计中插值A-与D-最优设计？
• RQ2 ESP-Design的算法特性为何？能否开发出具有可证明近似保证的高效贪心与凸松弛方法？
• RQ3 阶数为ℓ的初等对称多项式在正定矩阵的黎曼流形上是否具有测地线对数凸性，从而支持高效优化？
• RQ4 Avron与Boutsidis针对迹的列子集选择结果能否推广至所有初等对称多项式，从而确保贪心选择的常数因子近似？
• RQ5 ESP-Design中ℓ的选择如何影响设计矩阵在预测准确率与稀疏性之间的权衡？该权衡能否用于实际实验规划？

主要发现

• ESP-Design的贪心算法在预测性能上与经典Fedorov交换算法相当，但运行时间仅为后者的几分之一。
• 所提出的贪心方法由于将Avron与Boutsidis的结果推广至所有初等对称多项式，因而具备常数因子近似保证。
• 阶数为ℓ的初等对称多项式在正定矩阵流形上具有测地线对数凸性，从而支持ESP-Design问题的高效凸松弛。
• 在混凝土抗压强度数据集上，ℓ从1（A-最优）增加到8（D-最优）时，设计矩阵的稀疏性提高，而预测误差仅略有上升。
• 随着设计预算k的增加，除均匀采样外的所有设计均趋近于连续松弛解，且在大k下贪心方法优于均匀采样。
• 理论对偶形式涉及一个对一般ℓ未知的函数a(H)，尽管其具有潜在的理论与实际重要性，其闭式表达仍为开放问题。