[论文解读] Best Arm Identification for Contaminated Bandits

Jason M. Altschuler, Victor-Emmanuel Brunel+1 more|arXiv (Cornell University)|Feb 26, 2018

Machine Learning and Algorithms参考文献 40被引用 7

一句话总结

本文提出了污染最佳臂识别（CBAI）问题，其中每次臂的抽取可能以概率 ε 获得来自任意污染分布的被污染样本。作者为从污染数据中估计鲁棒矩（中位数和平均绝对偏差）建立了非渐近浓度不等式，将经典的最佳臂识别（BAI）算法适配到该设定，并建立了紧致的样本复杂度上下界，表明算法在对数因子范围内近乎最优。

ABSTRACT

This paper studies active learning in the context of robust statistics. Specifically, we propose a variant of the Best Arm Identification problem for \emph{contaminated bandits}, where each arm pull has probability $\varepsilon$ of generating a sample from an arbitrary contamination distribution instead of the true underlying distribution. The goal is to identify the best (or approximately best) true distribution with high probability, with a secondary goal of providing guarantees on the quality of this distribution. The primary challenge of the contaminated bandit setting is that the true distributions are only partially identifiable, even with infinite samples. To address this, we develop tight, non-asymptotic sample complexity bounds for high-probability estimation of the first two robust moments (median and median absolute deviation) from contaminated samples. These concentration inequalities are the main technical contributions of the paper and may be of independent interest. Using these results, we adapt several classical Best Arm Identification algorithms to the contaminated bandit setting and derive sample complexity upper bounds for our problem. Finally, we provide matching information-theoretic lower bounds on the sample complexity (up to a small logarithmic factor).

研究动机与目标

• 解决在奖励以概率 ε 受任意污染影响时识别最佳臂的挑战。
• 形式化一种新的 bandit 设定——污染最佳臂识别（CBAI）——其中由于污染，真实分布仅部分可识别。
• 为从污染样本中估计中位数和平均绝对偏差（MAD）提供非渐近统计保证。
• 将经典的最佳臂识别算法适配到 CBAI 设定，并提供可证明的样本复杂度边界。
• 提供匹配的信息论下界，确立所提算法的近似最优性。

提出的方法

• 将污染过程建模为混合分布：以概率 1−ε，样本来自真实臂分布 F_i；以概率 ε，来自任意污染分布 G_i,t。
• 引入部分可识别性的概念，即由于对抗性污染，真实中位数和 MAD 即使在无限样本下也无法完全恢复。
• 推导出在盲从、预知和恶意攻击者下，中位数和 MAD 估计的紧致非渐近浓度不等式。
• 通过用考虑污染引起的不确定性的有效差距替代标准的间隙分析，将经典 BAI 算法（如逐次消除）适配到 CBAI 设定。
• 利用联合界和鲁棒估计保证，推导出所选臂的中位数和 MAD 的高概率置信区间。
• 通过一种提升技术建立匹配的下界，将经典 BAI 下界扩展到污染设定。

实验结果

研究问题

• RQ1 当每次臂抽取可能以概率 ε 被污染时，识别最佳臂的根本样本复杂度是多少？
• RQ2 在对抗性污染下，如何从污染样本中可靠估计鲁棒统计量（中位数和 MAD）？
• RQ3 经典的最佳臂识别算法能否在污染 bandit 设定中适配并提供可证明的样本复杂度保证？
• RQ4 在此设定下，置信度、次优性间隙与污染水平之间的最优权衡是什么？
• RQ5 CBAI 的信息论下界与所提算法的上界相比如何？

主要发现

• 本文建立了中位数估计在污染样本下的非渐近浓度边界，适用于盲从、预知和恶意攻击者。
• 对于中位数，样本复杂度在固定置信度下上界为 O((1/ε²) log(1/δ))，且对污染水平 ε 有依赖关系。
• 对于平均绝对偏差（MAD），作者在具有可估计二阶鲁棒矩的一类分布下推导出浓度结果。
• 所适配的 BAI 算法在 CBAI 问题中达到样本复杂度上界 O((1/ε²) log(k/δ))，与下界仅相差对数因子。
• 作者表明，仅需比纯识别多出少量样本，即可为所选臂提供其中位数和 MAD 的质量保证。
• 信息论下界与上界在臂的数量上仅相差对数因子，表明所提算法近乎最优。