[论文解读] Adversarial Robustness of Streaming Algorithms through Importance Sampling

Vladimir Braverman, Avinatan Hassidim+4 more|arXiv (Cornell University)|Jun 28, 2021

Adversarial Robustness in Machine Learning参考文献 57被引用 15

一句话总结

本文通过利用重要性采样和合并-归约范式，提出了针对基础机器学习与数值线性代数任务（如回归、聚类和低秩逼近）的对抗性鲁棒流算法。它表明，基于重要性采样的方法天然抵抗自适应敌手，而基于压缩的方案则不然，并在亚线性空间和多对数内存下实现了高概率鲁棒性，这是首次在无需新算法设计的前提下，针对 k-均值、主成分分析（PCA）和非负矩阵分解等问题实现此类结果。

ABSTRACT

In this paper, we introduce adversarially robust streaming algorithms for central machine learning and algorithmic tasks, such as regression and clustering, as well as their more general counterparts, subspace embedding, low-rank approximation, and coreset construction. For regression and other numerical linear algebra related tasks, we consider the row arrival streaming model. Our results are based on a simple, but powerful, observation that many importance sampling-based algorithms give rise to adversarial robustness which is in contrast to sketching based algorithms, which are very prevalent in the streaming literature but suffer from adversarial attacks. In addition, we show that the well-known merge and reduce paradigm in streaming is adversarially robust. Since the merge and reduce paradigm allows coreset constructions in the streaming setting, we thus obtain robust algorithms for $k$-means, $k$-median, $k$-center, Bregman clustering, projective clustering, principal component analysis (PCA) and non-negative matrix factorization. To the best of our knowledge, these are the first adversarially robust results for these problems yet require no new algorithmic implementations. Finally, we empirically confirm the robustness of our algorithms on various adversarial attacks and demonstrate that by contrast, some common existing algorithms are not robust. (Abstract shortened to meet arXiv limits)

研究动机与目标

• 解决现有流算法在自适应敌手攻击下的脆弱性问题，即敌手根据算法输出操纵输入。
• 证明基于重要性采样的算法天然具备对抗流攻击的鲁棒性，与基于压缩的方案形成对比。
• 在流模型中首次为 k-均值、k-中位数、PCA 和非负矩阵分解等核心问题提供对抗性鲁棒算法。
• 展示合并-归约范式可实现鲁棒核心集构建，从而将鲁棒性扩展至广泛的聚类与降维任务。
• 通过实验验证所提算法在对抗性攻击下的鲁棒性，同时揭示标准流算法的脆弱性。

提出的方法

• 使用重要性采样构建流数据的鲁棒估计器，其中采样概率基于稳定统计量（如杠杆值或边连通性）。
• 采用基于鞅的分析方法，结合弗雷德曼不等式，控制自适应边插入下割稀疏化器的偏差。
• 应用合并-归约框架递归组合数据结构，确保在分层聚合步骤中保持鲁棒性。
• 利用重要性采样在自适应反馈下仍能保持集中性质的特性，而基于压缩的方法则会泄露随机性。
• 使用参数化采样率 ρ = Ω((log n + log m)/ε²)，以确保所有割的高概率割稀疏化器保证。
• 对所有可能的割使用并集界，利用割计数的确定性界（n^{2α} 对于大小为 ακ₁ 的割）来控制失败概率。

实验结果

研究问题

• RQ1 基于重要性采样的流算法能否在理论上证明对自适应敌手（其观察算法输出并据此定制输入）具有鲁棒性？
• RQ2 为何基于压缩的算法在对抗性流处理下会失效，而基于重要性采样的方法仍保持鲁棒？
• RQ3 合并-归约范式能否用于构建聚类与降维任务的对抗性鲁棒核心集？
• RQ4 是否可能在不重新设计核心算法原语的前提下，实现在流模型中对 k-均值、k-中位数和 PCA 的对抗性鲁棒性？
• RQ5 在对抗性流设置中，确保高概率鲁棒性所需的最小内存与采样开销是多少？

主要发现

• 基于重要性采样的算法天然对对抗性流攻击具有鲁棒性，而基于压缩的方案则不具备，原因在于后者会泄露内部随机性。
• 本文首次在流模型中建立了针对 k-均值、k-中位数、k-中心、Bregman 聚类、投影聚类、主成分分析（PCA）和非负矩阵分解的对抗性鲁棒算法。
• 通过仅使用标准重要性采样和合并-归约，无需新算法设计，即可在亚线性空间和多对数内存下实现鲁棒性。
• 当 ρ = Ω((log n + log m)/ε²) 时，失败概率被限制在 1/poly(n) 以内，从而保证高概率正确性。
• 实验评估表明，所提算法在对抗性攻击下仍保持准确性，而标准算法在相同条件下会失效。
• 分析表明，鲁棒稀疏化器 H 中的边数为最优值的 O(κ² log n / ε²) 倍，其中 κ = κ₂/κ₁ 为最大与最小割大小之比。