[论文解读] Discovering Blind Spots in Reinforcement Learning

Ramya Ramakrishnan, Ece Kamar+3 more|arXiv (Cornell University)|May 23, 2018

Reinforcement Learning in Robotics参考文献 22被引用 9

一句话总结

本文提出一种方法，通过使用来自专家的模拟反馈（示范和修正）来检测强化学习中因状态表征不完整而引起的盲区。该方法训练一个预测模型，识别在未见状态空间区域中的高风险状态。与基线方法相比，该方法性能更优，并通过选择性地咨询专家，实现在真实环境中的安全、高效查询执行。

ABSTRACT

Agents trained in simulation may make errors in the real world due to mismatches between training and execution environments. These mistakes can be dangerous and difficult to discover because the agent cannot predict them a priori. We propose using oracle feedback to learn a predictive model of these blind spots to reduce costly errors in real-world applications. We focus on blind spots in reinforcement learning (RL) that occur due to incomplete state representation: The agent does not have the appropriate features to represent the true state of the world and thus cannot distinguish among numerous states. We formalize the problem of discovering blind spots in RL as a noisy supervised learning problem with class imbalance. We learn models to predict blind spots in unseen regions of the state space by combining techniques for label aggregation, calibration, and supervised learning. The models take into consideration noise emerging from different forms of oracle feedback, including demonstrations and corrections. We evaluate our approach on two domains and show that it achieves higher predictive performance than baseline methods, and that the learned model can be used to selectively query an oracle at execution time to prevent errors. We also empirically analyze the biases of various feedback types and how they influence the discovery of blind spots.

研究动机与目标

• 解决将策略从仿真环境迁移到真实世界时，由于状态表征不匹配而导致的强化学习智能体出现安全关键性故障的问题。
• 将盲区发现形式化为一个带有专家反馈的噪声性、类别不平衡的监督学习问题。
• 开发一种方法，利用专家提供的聚合且校准的反馈，学习预测未见仿真状态中的盲区。
• 通过引入专家在环的执行机制，借助学习到的盲区模型，减少真实世界中的高成本错误。

提出的方法

• 将盲区检测形式化为一个监督学习任务，其中标签表示某一仿真状态是否在真实世界中对应高成本错误。
• 使用来自专家的多种反馈类型——示范和修正——生成用于训练的噪声标签。
• 应用标签聚合技术，整合多个专家反馈，以减少不一致反馈带来的噪声。
• 校准预测模型以应对类别不平衡问题，优先提高罕见但关键的盲区状态的召回率。
• 训练一个分类器，用于预测某一状态成为盲区的可能性，从而在执行过程中选择性地查询专家。
• 通过仅在高可能性盲区状态触发专家查询，将模型集成到执行流程中，以防止错误发生。

实验结果

研究问题

• RQ1 如何在真实世界部署前，系统性地检测由状态表征不完整引起的强化学习中的盲区？
• RQ2 专家反馈（特别是示范和修正）在存在噪声和偏差的情况下，对提升盲区检测准确率起到何种作用？
• RQ3 如何有效管理专家反馈中的类别不平衡与标签噪声，以构建可靠的盲区预测模型？
• RQ4 学习到的盲区模型在多大程度上能减少真实世界执行中的高成本错误，同时最小化专家查询次数？
• RQ5 不同类型的反馈（如严格型与宽松型专家）如何影响盲区检测模型的性能与可靠性？

主要发现

• 所提方法在两个领域中均优于基线方法，对未见状态空间区域的盲区状态预测性能更高。
• 在 FlappyBird 领域中，该方法性能优于 NQ 和 AQ 基线，且在严格专家反馈下，专家查询次数显著减少。
• 在宽松专家反馈下，D-A（示范与修正）反馈表现较差，原因在于初始示范存在偏差，错误地将危险状态标记为安全。
• 可通过调节分类器的阈值，在错误成本与查询成本之间实现权衡，从而支持在安全关键应用中进行风险敏感的部署。
• 实证研究表明，不同反馈类型会引入不同偏差——例如，若示范过于关注非关键状态，可能产生误导——凸显了根据领域特性选择反馈类型的重要性。