[论文解读] Bayesian Optimal Active Search and Surveying

Roman Garnett, Yamuna Krishnamurthy+3 more|arXiv (Cornell University)|Jun 27, 2012

Machine Learning and Algorithms参考文献 10被引用 35

一句话总结

本文提出了贝叶斯最优主动搜索与调查方法，将两者均建模为不确定性下的决策问题，采用贝叶斯决策理论。该文推导了最大化正样本发现（搜索）或估计类别比例（调查）的最优策略，证明了较不短视的近似方法可优于更短视的方法，并通过理论边界降低计算复杂度，实现实际的前瞻规划。

ABSTRACT

We consider two active binary-classification problems with atypical objectives. In the first, active search, our goal is to actively uncover as many members of a given class as possible. In the second, active surveying, our goal is to actively query points to ultimately predict the proportion of a given class. Numerous real-world problems can be framed in these terms, and in either case typical model-based concerns such as generalization error are only of secondary importance. We approach these problems via Bayesian decision theory; after choosing natural utility functions, we derive the optimal policies. We provide three contributions. In addition to introducing the active surveying problem, we extend previous work on active search in two ways. First, we prove a novel theoretical result, that less-myopic approximations to the optimal policy can outperform more-myopic approximations by any arbitrary degree. We then derive bounds that for certain models allow us to reduce (in practice dramatically) the exponential search space required by a naive implementation of the optimal policy, enabling further lookahead while still ensuring that optimal decisions are always made.

研究动机与目标

• 解决主动搜索与调查问题，其目标并非泛化，而是最大化正样本的发现或估计类别比例。
• 使用贝叶斯决策理论建模这些问题，采用针对每个目标量身定制的自然效用函数。
• 推导出在不确定性下序列决策中平衡探索与利用的最优策略。
• 通过证明较不短视的策略可优于更短视的策略，将先前关于主动搜索的研究成果进一步拓展，且其性能优势可任意程度提升。
• 通过理论边界开发实用的计算改进方法，降低策略评估中的指数级搜索空间复杂度。

提出的方法

• 将主动搜索与调查建模为具有类别特异性效用函数的贝叶斯决策问题，强调发现效率与估计准确性。
• 应用贝叶斯推断，维护模型参数与类别标签的后验分布。
• 通过动态规划推导最优策略，最大化未来动作的期望效用。
• 引入模型似然性的理论边界，实现动作空间的剪枝，降低计算成本。
• 采用剪枝后的搜索空间进行前瞻规划，提升决策质量，同时保持最优性。
• 采用概率框架计算动作的期望效用，实现对下一个查询点的合理选择。

实验结果

研究问题

• RQ1 在实际中，主动搜索中对最优策略的较不短视近似是否可优于更短视的近似？
• RQ2 如何在保持最优性的同时，降低精确贝叶斯最优策略计算的指数级复杂度？
• RQ3 何种效用函数最符合主动搜索（最大化正样本发现）与主动调查（估计类别比例）的目标？
• RQ4 在何种场景下，所推导的模型似然性边界能显著降低策略搜索中的计算成本？
• RQ5 与启发式或贪心方法相比，所提出的框架在真实世界发现与估计任务中的性能表现如何？

主要发现

• 对最优策略的较不短视近似可任意程度地优于更短视的近似，挑战了贪心策略已足够的假设。
• 模型似然性的理论边界可显著减少最优策略计算的搜索空间，使实际中可实现更深的前瞻规划。
• 所提出的框架通过在贝叶斯决策理论框架内构建问题特定的效用函数，实现了主动搜索与调查中的最优决策。
• 该方法通过降低计算复杂度，使贝叶斯最优策略在高维或复杂动作空间的问题中得以实际部署。
• 该框架具有通用性，可适用于各种模型与数据类型，只要能计算或近似似然与后验分布。
• 实验结果表明，与基线主动学习方法相比，该方法在正样本发现与比例估计任务中均表现出更优性能。