[论文解读] Most Correlated Arms Identification

Che-Yu Liu, Sébastien Bubeck|arXiv (Cornell University)|Apr 23, 2014

Mass Spectrometry Techniques and Applications参考文献 5被引用 3

一句话总结

本文提出了自适应采样算法 SR-C 和 SE-C，用于在相关系数矩阵未知的高斯随机向量中识别出 h 个相互最相关的臂。通过利用一种新型基于差值的相关性估计器，算法实现了样本复杂度 $\widetilde{\mathcal{O}}(\mathrm{H_C} + K)$，其中 $\mathrm{H_C}$ 依赖于次优性比率，在异质相关性设置下显著优于非自适应的均匀采样。

ABSTRACT

We study the problem of finding the most mutually correlated arms among many arms. We show that adaptive arms sampling strategies can have significant advantages over the non-adaptive uniform sampling strategy. Our proposed algorithms rely on a novel correlation estimator. The use of this accurate estimator allows us to get improved results for a wide range of problem instances.

研究动机与目标

• 解决在高维高斯向量中识别 h 个相互最相关臂的挑战，其相关结构未知。
• 设计自适应采样策略，以在样本效率方面优于非自适应的均匀采样。
• 提出一种新型基于差值的相关性估计器，以提高估计精度，特别是在相关性接近 1 时表现更优。
• 刻画自适应算法在固定预算和固定置信度设置下的样本复杂度。
• 建立可靠识别最优臂子集所需样本数的理论界。

提出的方法

• 提出一种基于差值的相关性估计器，通过利用成对差值的方差结构，提升高相关性情况下的估计精度。
• 将次优性比率 $R_{i,\Sigma}$ 定义为衡量某条臂相对于最优集合的次优程度，基于未相关成对项的比值。
• 分别针对固定预算和固定置信度设置，提出 SR-C 和 SE-C 算法，利用基于新估计器的置信区间。
• 在 SE-C 中采用基于置信区间随采样而缩小的停止规则，确保以高概率正确。
• 使用函数 $\alpha(\theta) = \frac{1}{2}(\log\theta - 1 + \frac{1}{\theta})$ 来量化区分次优臂的难度，其中 $\alpha(\theta) \sim (1-\theta)^2$ 在 $\theta=1$ 附近成立。
• 通过浓度不等式推导样本复杂度界，利用所有臂对上的联合界控制错误概率。

实验结果

研究问题

• RQ1 自适应采样策略是否能显著减少识别 h 个最相关臂所需的样本数，相比均匀采样？
• RQ2 相关性估计的精度如何影响相关臂识别中的样本复杂度？
• RQ3 样本复杂度在次优性比率 $R_{i,\Sigma}$ 上的最优结构是什么？
• RQ4 在一般相关性矩阵下，上界中的 $\widetilde{\mathcal{O}}(h \cdot \alpha(R_{(h+1),\Sigma})^{-1})$ 项是否可进一步降低？
• RQ5 是否存在任何自适应算法在该问题上的样本数的理论下界？

主要发现

• 所提出的 SR-C 和 SE-C 算法实现了 $\widetilde{\mathcal{O}}(\mathrm{H_C} + K)$ 的样本复杂度，其中 $\mathrm{H_C} = \frac{h}{\alpha(R_{(h+1),\Sigma})} + \sum_{i=h+1}^{K} \frac{1}{\alpha(R_{(i),\Sigma})}$，显著优于非自适应策略。
• 基于差值的相关性估计器在相关性接近 1 时能实现更优的估计精度，这是经典估计器不具备的特性。
• 在非自适应设置下，$\widetilde{\Theta}\left(\frac{K}{\alpha(R_{(h+1),\Sigma})} + K\right)$ 个样本是可靠识别所必需且充分的。
• 在非齐次相关性矩阵中，$\mathrm{H_C}$ 可远小于 $\frac{K}{\alpha(R_{(h+1),\Sigma})}$，体现了自适应的优势。
• 上界中的 $\widetilde{\mathcal{O}}(h \cdot \alpha(R_{(h+1),\Sigma})^{-1})$ 项在某些情况下为次优，提示存在算法改进空间。
• 论文识别出一个关键挑战：早期接受最优臂并不会简化剩余识别任务，因为相关性结构具有非单调性。