[论文解读] Learning diagnostic policies from examples by systematic search

Valentina Bayer‐Zubek|arXiv (Cornell University)|Jul 7, 2004

AI-based Problem Solving and Planning参考文献 16被引用 18

一句话总结

本文提出一种基于AO*的系统性搜索方法，用于学习成本敏感的诊断策略，以最小化预期总成本，并通过正则化实现过拟合控制。实验结果表明，与Value of Information等贪心方法相比，系统性搜索在基准数据集上表现更优，能够生成更准确且更鲁棒的诊断策略，且无需假设贝叶斯网络结构。

ABSTRACT

A diagnostic policy specifies what test to perform next, based on the results of previous tests, and when to stop and make a diagnosis. Cost-sensitive diagnostic policies perform tradeoffs between (a) the costs of tests and (b) the costs of misdiagnoses. An optimal diagnostic policy minimizes the expected total cost. We formalize this diagnosis process as a Markov Decision Process (MDP). We investigate two types of algorithms for solving this MDP: systematic search based on the AO* algorithm and greedy search (particularly the Value of Information method). We investigate the issue of learning the MDP probabilities from examples, but only as they are relevant to the search for good policies. We do not learn nor assume a Bayesian network for the diagnosis process. Regularizers are developed that control overfitting and speed up the search. This research is the first that integrates overfitting prevention into systematic search. The paper has two contributions: it discusses the factors that make systematic search feasible for diagnosis, and it shows experimentally, on benchmark data sets, that systematic search methods produce better diagnostic policies than greedy methods.

研究动机与目标

• 开发一种平衡测试成本与误诊惩罚的最优诊断策略学习方法。
• 解决在策略搜索过程中，基于有限样本估计MDP概率时面临的过拟合挑战。
• 比较系统性搜索（AO*）与贪心搜索（如Value of Information）在诊断策略学习中的表现。
• 将过拟合预防直接整合到策略搜索过程中，而非作为事后处理步骤。
• 在不假设贝叶斯网络结构的前提下，评估系统性搜索在真实世界诊断基准数据集上的性能。

提出的方法

• 将诊断策略学习问题形式化为马尔可夫决策过程（MDP），其中动作为测试选择，状态为部分测试结果序列。
• 采用AO*算法对策略树进行系统性搜索，在给定MDP假设下确保搜索空间中的最优性。
• 引入自定义正则化器，约束从训练样本中获得的概率估计，从而在MDP参数学习过程中减少过拟合。
• 基于示例估计MDP的转移概率和奖励概率，且不假设存在贝叶斯网络结构。
• 采用贪心搜索（特别是Value of Information方法）作为对比基线。
• 将系统性搜索与正则化概率估计相结合，以提升泛化能力与搜索效率。

实验结果

研究问题

• RQ1 在成本敏感诊断场景下，结合正则化概率估计的AO*系统性搜索能否生成优于Value of Information等贪心方法的诊断策略？
• RQ2 在基于有限诊断样本学习MDP概率时，正则化器在防止过拟合方面的有效性如何？
• RQ3 哪些因素使得系统性搜索在大规模诊断策略学习中具备计算可行性？
• RQ4 与独立正则化相比，将过拟合控制直接整合到搜索过程中是否能提升策略质量？
• RQ5 在基准诊断数据集上，系统性搜索与贪心搜索在预期总成本和鲁棒性方面有何差异？

主要发现

• 结合正则化概率估计的AO*系统性搜索生成的诊断策略，其预期总成本低于贪心方法。
• 通过正则化器实现的过拟合控制显著提升了策略的泛化能力与搜索稳定性。
• 当结合高效剪枝与正则化技术时，系统性搜索在诊断MDP中表现出计算可行性。
• 所提方法在基准数据集上优于贪心方法，展现出更优的策略质量，且无需假设贝叶斯网络结构。
• 正则化有效降低了MDP概率估计中的过拟合现象，尤其在训练数据有限时效果显著。
• 本研究证实，系统性搜索是成本敏感设置下学习诊断策略的一种可行且更优的替代方案。