[论文解读] Interactive Submodular Set Cover

Andrew Guillory, Jeff Bilmes|arXiv (Cornell University)|Feb 17, 2010

Machine Learning and Algorithms参考文献 19被引用 38

一句话总结

本文提出了一种名为交互式子模集合覆盖的新框架，该框架在不确定性下的子模优化中联合优化学习与覆盖。它提出了一种具有紧密近似保证的贪心算法，证明了同时进行学习与覆盖优于单独的方法，尤其在假设类别存在噪声或模糊时表现更优。

ABSTRACT

We introduce a natural generalization of submodular set cover and exact active learning with a finite hypothesis class (query learning). We call this new problem interactive submodular set cover. Applications include advertising in social networks with hidden information. We give an approximation guarantee for a novel greedy algorithm and give a hardness of approximation result which matches up to constant factors. We also discuss negative results for simpler approaches and present encouraging early experimental results.

研究动机与目标

• 解决目标群体最初未知、必须通过反馈发现的学习与覆盖问题。
• 通过将学习与覆盖统一为单一优化框架，推广子模集合覆盖与精确主动学习。
• 开发一种理论基础坚实的算法，以高效平衡对目标的了解与覆盖。
• 证明在实践中，单独的学习与覆盖方法可能显著次优，尤其是在假设存在噪声或模糊时。

提出的方法

• 提出一种新的问题形式——交互式子模集合覆盖，其中反馈在优化子模覆盖目标的同时揭示目标假设的信息。
• 提出一种新颖的贪心算法，基于组合增益度量选择元素，平衡学习（不确定性减少）与覆盖（目标值增加）。
• 定义了一个代理目标函数 $\bar{F}_\alpha(S)$，结合所有假设下的期望覆盖与不确定性减少，其中 $\alpha$ 控制权衡。
• 使用模成本函数与单调子模目标函数 $F(S)$，反馈揭示所选元素是否属于真实目标假设。
• 应用贪心选择规则：在每一步选择使 $\bar{F}_\alpha(S)$ 增益最大的元素，确保理论近似保证。
• 采用理论分析证明该算法达到的近似比与理论上可能的最佳结果仅相差常数因子。

实验结果

研究问题

• RQ1 能否开发一个统一框架，通过子模优化同时学习未知目标假设并高效覆盖它？
• RQ2 与‘先学习后覆盖’等顺序策略相比，联合学习与覆盖策略在查询效率方面表现如何？
• RQ3 在交互式子模集合覆盖设置中，贪心算法的理论近似保证是什么？
• RQ4 当假设类别存在噪声或模糊（即多个假设与真实假设相似）时，该算法表现如何？
• RQ5 在具有合成目标群体的真实网络数据中，所提方法能否优于基线方法如‘全部覆盖’或‘先学习后覆盖’？

主要发现

• 所提贪心算法达到的近似比与理论上可能的最佳结果仅相差常数因子，提供了强有力的理论保证。
• 在真实社交网络数据上的实验表明，同时学习与覆盖的方法在噪声假设类别中优于‘先学习后覆盖’，后者因相似假设而难以识别真实目标。
• 在覆盖问题占主导地位的大规模数据集上，所提方法的性能趋近于‘先学习后覆盖’，表明其对问题结构具有适应性。
• 当存在反馈时，‘全部覆盖’基线方法表现显著劣于所提方法，因其忽略了目标特定信息。
• 在所有聚类并集较小但学习困难的情况下，‘全部覆盖’可能优于‘先学习后覆盖’，但所提方法始终能匹配或超越两者中的最佳表现。