[论文解读] Learning Strategy-Aware Linear Classifiers

Yi‐Ling Chen, Yang Liu+1 more|arXiv (Cornell University)|Nov 10, 2019

Advanced Bandit Algorithms Research参考文献 35被引用 19

一句话总结

本文提出 Grinder，一种在重复 Stackelberg 博弈中学习线性分类器的策略感知算法，其中代理在有界半径内战略性地操纵其特征。论文证明了外部 regret 与 Stackelberg regret 之间存在强烈不相容性，并通过双空间多面体划分和带 oracle 的自适应离散化方法，建立了 Stackelberg regret 最小化的近乎紧致的 regret 上界，即使在反馈存在噪声的情况下也成立。

ABSTRACT

We address the question of repeatedly learning linear classifiers against agents who are strategically trying to game the deployed classifiers, and we use the Stackelberg regret to measure the performance of our algorithms. First, we show that Stackelberg and external regret for the problem of strategic classification are strongly incompatible: i.e., there exist worst-case scenarios, where any sequence of actions providing sublinear external regret might result in linear Stackelberg regret and vice versa. Second, we present a strategy-aware algorithm for minimizing the Stackelberg regret for which we prove nearly matching upper and lower regret bounds. Finally, we provide simulations to complement our theoretical analysis. Our results advance the growing literature of learning from revealed preferences, which has so far focused on "smoother" assumptions from the perspective of the learner and the agents respectively.

研究动机与目标

• 解决当代理战略性地操纵其特征以操纵分类器时学习线性分类器的挑战。
• 形式化并分析在具有策略性代理的重复 Stackelberg 博弈中学习算法的性能。
• 通过引入一种新型 regret 度量——Stackelberg regret，克服标准无外部 regret 算法在策略性环境中的局限性。
• 设计一种自适应离散化算法（Grinder），在不假设效用或损失函数平滑性的前提下最小化 Stackelberg regret。
• 在 δ-有界、短视理性的代理条件下，建立策略分类的几乎匹配的上界与下界 regret。

提出的方法

• 该算法在学习者动作空间的对偶空间中运行，其中区域（多面体）对应于引发代理相同最优响应的动作。
• 使用多面体划分方案将具有相同响应行为的动作分组，从而实现基于体积的损失估计重加权。
• Grinder 使用 oracle 来估计一个动作更新另一个动作的概率，通过历史反馈的逻辑回归计算在概率得分。
• 通过将多面体视为有效动作，将 EXP3 算法推广至连续动作空间，同时保持 regret 保证。
• 开发了一种基于图论引理的新型多面体变体，用于在连续设置中界定损失估计器的方差。
• 该方法对噪声 oracle 具有鲁棒性，在反馈存在不确定性时仍能保持 regret 上界。

实验结果

研究问题

• RQ1 标准无外部 regret 算法能否在具有有界代理操纵的策略分类设置中实现次线性 Stackelberg regret？
• RQ2 在策略性代理存在的情况下，能否同时实现次线性外部 regret 与 Stackelberg regret？
• RQ3 当代理响应非光滑时，学习算法如何自适应地离散化连续动作空间以最小化 Stackelberg regret？
• RQ4 在 δ-有界、短视理性的代理条件下，策略分类中 Stackelberg regret 的基本极限（下界）是什么？
• RQ5 在不同代理操纵能力水平（δ）下，策略感知算法（如 Grinder）与标准算法（如 EXP3）的性能如何比较？

主要发现

• 论文证明了外部 regret 与 Stackelberg regret 之间存在强烈不相容性：在最坏情况下，没有任何算法能同时在这两个指标上实现次线性 regret。
• Grinder 实现了 Stackelberg regret 的近乎匹配的上界与下界，确立了紧致的理论性能保证。
• 即使提供反馈的 oracle 存在噪声，Grinder 的 regret 上界在阶数上仍保持不变，表现出强鲁棒性。
• 仿真结果表明，Grinder 在各种设置下（包括离散与连续动作空间、不同效用函数）始终优于 EXP3。
• 随着 δ 增大，Grinder 的性能出现下降，表明更高的操纵能力会降低算法的有效性。
• 在高重叠标签分布下，Grinder 和 EXP3 的性能均下降，但 Grinder 仍保持相对优势。