[论文解读] Active Learning and Best-Response Dynamics

Maria-Florina Balcan, Christopher G. Berlind+4 more|arXiv (Cornell University)|Jun 25, 2014

Machine Learning and Algorithms参考文献 13被引用 3

一句话总结

本文提出了一种基于博弈论的去噪框架，通过利用噪声传感器之间的局部最优响应动态，在高噪声环境中提升主动学习的性能。通过让传感器基于邻域共识迭代更新其状态，该系统在保留真实线性分隔器的同时实现了显著的噪声降低，从而仅通过少量主动查询即可实现准确的模型学习——实验表明，该方法在性能上优于无去噪处理的被动学习与主动学习方法。

ABSTRACT

We examine an important setting for engineered systems in which low-power distributed sensors are each making highly noisy measurements of some unknown target function. A center wants to accurately learn this function by querying a small number of sensors, which ordinarily would be impossible due to the high noise rate. The question we address is whether local communication among sensors, together with natural best-response dynamics in an appropriately-defined game, can denoise the system without destroying the true signal and allow the center to succeed from only a small number of active queries. By using techniques from game theory and empirical processes, we prove positive (and negative) results on the denoising power of several natural dynamics. We then show experimentally that when combined with recent agnostic active learning algorithms, this process can achieve low error from very few queries, performing substantially better than active or passive learning without these denoising dynamics as well as passive learning with denoising.

研究动机与目标

• 解决在高标签噪声的传感器网络中学习准确决策边界的挑战。
• 探究局部通信与博弈论动态是否能在不扭曲真实目标函数的前提下实现传感器数据的去噪。
• 将去噪动态与无知主动学习相结合，以减少所需昂贵标签查询的数量。
• 评估不同更新策略（同步与异步）在去噪效果上的鲁棒性。

提出的方法

• 将传感器建模为共识博弈中的参与者，其收益基于与邻居的相关性。
• 应用最优响应动态：每个传感器根据其通信半径r内的邻居中的多数状态进行更新。
• 采用同步与异步更新模型，以模拟实时传感器协调。
• 理论分析证明，在传感器均匀分布下，目标函数是一个ϵ-纳什均衡，从而确保系统稳定性。
• 将去噪步骤与无知主动学习算法（如Awasthi等人提出的方法）结合，仅查询少数传感器。
• 通过使用主动学习算法的核化版本，将该方法扩展至非线性边界。

实验结果

研究问题

• RQ1 传感器之间的局部最优响应动态是否能有效去噪高噪声数据，同时保留真实的线性分隔器？
• RQ2 博弈论去噪与无知主动学习的结合是否能减少相比标准主动学习或被动学习所需的查询数量？
• RQ3 同步与异步更新顺序如何影响去噪性能与收敛速度？
• RQ4 去噪过程对恶意更新顺序是否具有鲁棒性？是否可在不牺牲实用性的前提下进一步增强其鲁棒性？
• RQ5 该框架是否可通过核方法扩展至非线性决策边界？

主要发现

• 在100轮同步更新后，最终的噪声率显著下降：在随机噪声设置下，噪声率从初始的35%降至5%以下。
• 对于噪声聚集区域，最终噪声率仍低于初始水平，尽管高于随机噪声情况，表明实现了部分但有效的去噪。
• 在标签预算为30的情况下，基于去噪数据的主动学习相比SVMs的泛化误差降低了33%。
• 同步与异步更新在随机噪声下均能快速收敛至低噪声水平，但异步更新在实际中更具鲁棒性。
• 理论分析证实，在传感器均匀分布下，真实目标函数以高概率为ϵ-纳什均衡。
• 计算成本更高的动态被证明对恶意更新顺序具有鲁棒性，表明鲁棒性与实用性之间存在权衡。