[论文解读] Bayesian experimental design using regularized determinantal point processes

Michał Dereziński, Feynman Liang+1 more|arXiv (Cornell University)|Jun 10, 2019

Optimal Experimental Design Methods参考文献 27被引用 3

一句话总结

本论文提出了一种新颖的贝叶斯实验设计框架，利用正则化确定性点过程（DPPs）选择线性回归中多样化且信息丰富的数据子集。通过将贝叶斯最优性准则（A、C、D、V）与DPPs关联，作者开发了高效算法，在子集大小 $k$ 满足 $\Omega\left(\frac{d_{\mathbf{A}}}{\epsilon} + \frac{1}{\epsilon^2}\log\frac{1}{\epsilon}\right)$ 时，实现了 (1+ε)-近似最优设计，显著提升了现有方法的效率和近似质量。

ABSTRACT

In experimental design, we are given $n$ vectors in $d$ dimensions, and our goal is to select $k\ll n$ of them to perform expensive measurements, e.g., to obtain labels/responses, for a linear regression task. Many statistical criteria have been proposed for choosing the optimal design, with popular choices including A- and D-optimality. If prior knowledge is given, typically in the form of a $d imes d$ precision matrix $\mathbf A$, then all of the criteria can be extended to incorporate that information via a Bayesian framework. In this paper, we demonstrate a new fundamental connection between Bayesian experimental design and determinantal point processes, the latter being widely used for sampling diverse subsets of data. We use this connection to develop new efficient algorithms for finding $(1+ε)$-approximations of optimal designs under four optimality criteria: A, C, D and V. Our algorithms can achieve this when the desired subset size $k$ is $Ω(\frac{d_{\mathbf A}}ε + \frac{\log 1/ε}{ε^2})$, where $d_{\mathbf A}\leq d$ is the $\mathbf A$-effective dimension, which can often be much smaller than $d$. Our results offer direct improvements over a number of prior works, for both Bayesian and classical experimental design, in terms of algorithm efficiency, approximation quality, and range of applicable criteria.

研究动机与目标

• 开发一种在多种最优性准则（A、C、D、V）下进行贝叶斯实验设计的高效算法，利用与确定性点过程之间的新连接。
• 解决在高维线性回归中，利用精度矩阵 $\mathbf{A}$ 编码先验知识时，从 $n$ 个数据点中选择 $k \ll n$ 个信息丰富的数据点的挑战。
• 在算法效率、近似质量以及对多样化实验设计准则的适用性方面，超越先前的方法。

提出的方法

• 利用贝叶斯实验设计与正则化确定性点过程（DPPs）之间的基本联系，其中DPP核由数据矩阵 $\mathbf{X}$ 和先验精度 $\mathbf{A}$ 构建。
• 使用正则化DPP $\mathrm{DPP}_{\mathrm{reg}}^{p}(\mathbf{X}, \mathbf{A})$，其概率向量 $p$ 通过求解半定规划（SDP）获得，以近似最优子集选择。
• 采用一阶凸锥求解器（SCS）高效求解SDP，实现近似最优采样概率的可扩展计算。
• 引入两阶段采样策略：首先从学习到概率的DPP中采样，然后通过拒绝或截断方法对子集大小 $k$ 进行条件控制。
• 应用DPP理论和矩阵浓度的理论保证，对控制所需样本大小 $k$ 的有效维度 $d_{\mathbf{A}}$ 进行界定。
• 证明即使采用均匀DPP采样（无需SDP），其性能也优于基线的独立同分布均匀采样，且SDP优化的DPP在性能上可匹配或略微超过贪心方法。

实验结果

研究问题

• RQ1 能否建立贝叶斯实验设计与确定性点过程之间的原则性联系，以实现高效子集选择？
• RQ2 在A、C、D和V准则下，实现 (1+ε)-近似最优设计所需的最小子集大小 $k$ 是多少？
• RQ3 $\mathbf{A}$-有效维度 $d_{\mathbf{A}}$ 如何影响样本复杂度和近似保证？
• RQ4 正则化DPP能否用于设计出在实践中优于贪心和均匀采样策略的算法？
• RQ5 理论上的 $\mathrm{OPT}_k$ 上限在实践中是否紧致，如比率 $f_{\mathbf{A}}(\mathbf{X}_S^\top\mathbf{X}_S)/f_{\mathbf{A}}(\frac{k}{n}\mathbf{\Sigma}_\mathbf{X})$ 所示？

主要发现

• 当 $k = \Omega\left(\frac{d_{\mathbf{A}}}{\epsilon} + \frac{1}{\epsilon^2}\log\frac{1}{\epsilon}\right)$ 时，SDP优化的DPP采样方法在所有四个最优性准则（A、C、D、V）下均实现了 (1+ε)-近似最优设计。
• 使用SDP的方法优于贪心自底向上和预测长度采样方法，在性能上可匹配或略微超过贪心方法，同时保持相近的运行时间。
• 即使采用均匀DPP采样（无需SDP），其性能也优于独立同分布的均匀采样，表明多样性本身即可提升设计质量。
• 实证结果表明，$\mathrm{OPT}_k$ 与基线 $f_{\mathbf{A}}(\frac{k}{n}\mathbf{\Sigma}_\mathbf{X})$ 的差距在小常数因子内（通常低于0.5的比率），支持了理论上的上界。
• 在所有测试数据集中，比率 $f_{\mathbf{A}}(\mathbf{X}_S^\top\mathbf{X}_S)/f_{\mathbf{A}}(\frac{k}{n}\mathbf{\Sigma}_\mathbf{X})$ 均保持在0.5以下，表明其在实际中表现强劲。
• 使用SCS求解SDP可实现快速且可证明收敛的优化，使该方法可扩展至真实世界数据集。