[论文解读] Active Sensing as Bayes-Optimal Sequential Decision Making

Sheeraz Ahmad, Angela J. Yu|arXiv (Cornell University)|May 28, 2013

Machine Learning and Algorithms参考文献 23被引用 10

一句话总结

本文提出 C-DAC，一种贝叶斯最优的主动感知框架，直接最小化延迟、错误率和传感器重定位等行为成本，而非抽象的统计目标。它将主动感知建模为不确定环境下的序贯决策问题，利用贝叶斯推断指导上下文敏感的感知行为，并在具有周边视觉的复杂视觉搜索任务中，表现出优于 Infomax 和贪婪 MAP 等统计策略的性能。

ABSTRACT

Sensory inference under conditions of uncertainty is a major problem in both machine learning and computational neuroscience. An important but poorly understood aspect of sensory processing is the role of active sensing. Here, we present a Bayes-optimal inference and control framework for active sensing, C-DAC (Context-Dependent Active Controller). Unlike previously proposed algorithms that optimize abstract statistical objectives such as information maximization (Infomax) [Butko & Movellan, 2010] or one-step look-ahead accuracy [Najemnik & Geisler, 2005], our active sensing model directly minimizes a combination of behavioral costs, such as temporal delay, response error, and effort. We simulate these algorithms on a simple visual search task to illustrate scenarios in which context-sensitivity is particularly beneficial and optimization with respect to generic statistical objectives particularly inadequate. Motivated by the geometric properties of the C-DAC policy, we present both parametric and non-parametric approximations, which retain context-sensitivity while significantly reducing computational complexity. These approximations enable us to investigate the more complex problem involving peripheral vision, and we notice that the difference between C-DAC and statistical policies becomes even more evident in this scenario.

研究动机与目标

• 开发一种原则性强、以行为为基础的主动感知框架，优化现实世界中的成本，如延迟、错误率和传感器移动。
• 解决现有统计策略（如 Infomax、贪婪 MAP）的局限性，这些策略优化的是与行为目标脱钩的抽象目标。
• 通过整合任务约束和时变成本，实现在感觉处理中的上下文敏感、自适应决策。
• 通过参数化和非参数化近似方法降低计算复杂度，同时保持上下文敏感性。
• 在复杂视觉搜索场景中验证该框架，包括周边视觉，其中上下文敏感性至关重要。

提出的方法

• C-DAC 将主动感知建模为部分可观察的马尔可夫决策过程（POMDP），其中动作（注视点）的选择旨在最小化结合了延迟、错误率和重定位成本的代价函数。
• 该模型使用贝叶斯推断在目标位置上维护一个信念状态，并通过噪声感官观测序列更新该状态。
• 通过值迭代推导出贝叶斯最优策略，直接优化行为表现而非信息增益。
• 引入值函数的参数化和非参数化近似方法，以降低计算复杂度，同时保留上下文敏感性。
• 该框架被应用于具有周边视觉的视觉搜索任务，支持对真实感官约束的模拟。
• 在不同任务参数下，通过模拟和近似值迭代方法，将性能与 Infomax 和贪婪 MAP 策略进行比较。

实验结果

研究问题

• RQ1 在复杂搜索任务中，一种最小化行为成本的贝叶斯最优主动感知策略，与 Infomax 和贪婪 MAP 等统计策略相比表现如何？
• RQ2 在何种场景下，上下文敏感性——即整合任务特定成本和约束——能带来显著的性能优势？
• RQ3 低维参数化和非参数化近似方法是否能在降低计算成本的同时，保留最优策略的上下文敏感性？
• RQ4 周边视觉的引入如何影响 C-DAC 与统计策略之间的性能差距？
• RQ5 在何种条件下，统计策略无法适应变化的任务需求，如速度-精度-努力权衡？

主要发现

• 在涉及周边视觉的视觉搜索任务中，C-DAC 显著优于 Infomax 和贪婪 MAP，此时上下文敏感性至关重要。
• C-DAC 相较于统计策略的性能优势在涉及空间和时间约束的复杂、真实场景中更为显著。
• 值函数的参数化和非参数化近似方法在降低计算复杂度的同时保留了上下文敏感性，使框架可扩展至更大规模问题。
• 该模型通过根据任务需求平衡注视持续时间、注视次数和响应准确性，成功处理了探索与利用之间的权衡。
• C-DAC 生成的行为最优策略能动态适应环境上下文，而统计策略则优化通用目标，缺乏这种适应性。
• 该框架在多种任务目标下表现出鲁棒性和灵活性，例如在人群中定位目标与追踪运动目标。