[论文解读] Efficient Online Learning for Optimizing Value of Information: Theory and Application to Interactive Troubleshooting

Yuxin Chen, Jean-Michel Renders+2 more|arXiv (Cornell University)|Mar 15, 2017

Advanced Bandit Algorithms Research参考文献 23被引用 10

一句话总结

本文提出了一种高效的在线学习框架，用于在交互式故障排除中优化信息价值（VoI），通过一种新颖的基于采样的假设枚举策略，实现在不确定性下的可扩展、可证明的近似最优决策。此外，该方法还引入了一种在线后验采样方法，以实现对未知模型参数的低期望遗憾学习，在真实世界故障排除数据上表现出强劲的实验性能。

ABSTRACT

We consider the optimal value of information (VoI) problem, where the goal is to sequentially select a set of tests with a minimal cost, so that one can efficiently make the best decision based on the observed outcomes. Existing algorithms are either heuristics with no guarantees, or scale poorly (with exponential run time in terms of the number of available tests). Moreover, these methods assume a known distribution over the test outcomes, which is often not the case in practice. We propose an efficient sampling-based online learning framework to address the above issues. First, assuming the distribution over hypotheses is known, we propose a dynamic hypothesis enumeration strategy, which allows efficient information gathering with strong theoretical guarantees. We show that with sufficient amount of samples, one can identify a near-optimal decision with high probability. Second, when the parameters of the hypotheses distribution are unknown, we propose an algorithm which learns the parameters progressively via posterior sampling in an online fashion. We further establish a rigorous bound on the expected regret. We demonstrate the effectiveness of our approach on a real-world interactive troubleshooting application and show that one can efficiently make high-quality decisions with low cost.

研究动机与目标

• 解决当假设空间随测试数量呈指数增长时，现有VoI优化方法在计算上不可行的问题。
• 克服先前方法依赖于已知假设分布的局限性，通过从数据中在线学习未知的条件概率。
• 开发一种实用且可扩展的框架，在真实世界的交互式决策场景中保持强理论保证（例如近似最优性和遗憾界）。
• 通过最小化提问次数并最大化诊断准确性，提升故障排除系统中的查询效率。

提出的方法

• 提出一种基于分治策略的动态假设枚举方法，利用优先搜索高效采样每个隐藏状态下最可能的假设。
• 将所有隐藏状态的边缘似然合并，以计算期望信息增益，从而在自适应子模性下实现测试的高效贪心选择。
• 将后验采样集成到在线学习框架中，逐步从用户响应中学习未知的模型参数（例如，给定根因的症状概率）。
• 在在线学习设置中建立了期望遗憾的严格理论界，确保长期性能接近最优。
• 利用底层概率模型的结构，相比通用采样方法，提高了采样效率和近似质量。
• 采用更高级别的采样过程来采样模型参数，从而实现实时故障排除会话中对动态用户数据的稳健适应。

实验结果

研究问题

• RQ1 我们能否设计一种高效的假设枚举方法，在保持理论保证的同时可扩展至大规模假设空间？
• RQ2 我们如何以低遗憾的方式在线学习测试结果的未知条件概率？
• RQ3 我们能否在交互式故障排除中，以远少于基线方法的查询次数实现近似最优决策？
• RQ4 所提出的框架在存在模型不确定性的情况下，是否仍能保持强理论性能保证？

主要发现

• 所提出的假设枚举策略在自适应子模性下实现了VoI的高效优化，其计算效率显著优于基于标准子模代理的基线方法。
• 结合后验采样的在线学习框架实现了低期望遗憾，确保在初始不确定性下长期决策质量趋近最优策略。
• 在真实世界故障排除平台上的实证评估表明，EC² 变体在查询复杂度方面始终优于基线方法。
• 该框架在保持强理论保证（近似最优性和遗憾界）的同时，可实际扩展至大规模真实应用场景。