[论文解读] Interpretable Policy Specification and Synthesis through Natural Language and RL

Pradyumna Tambwekar, Andrew Silva+2 more|arXiv (Cornell University)|Jan 18, 2021

Explainable Artificial Intelligence (XAI)参考文献 34被引用 4

一句话总结

该论文提出了一种新框架，使人类能够使用自然语言指定机器人行为，该行为随后被转换为可解释的决策树以用于强化学习的热启动。该方法在将自然语言映射到决策树方面实现了96–97%的准确率，并通过基于语言的策略初始化，显著优于基线方法（p < 0.001）。

ABSTRACT

Policy specification is a process by which a human can initialize a robot's behaviour and, in turn, warm-start policy optimization via Reinforcement Learning (RL). While policy specification/design is inherently a collaborative process, modern methods based on Learning from Demonstration or Deep RL lack the model interpretability and accessibility to be classified as such. Current state-of-the-art methods for policy specification rely on black-box models, which are an insufficient means of collaboration for non-expert users: These models provide no means of inspecting policies learnt by the agent and are not focused on creating a usable modality for teaching robot behaviour. In this paper, we propose a novel machine learning framework that enables humans to 1) specify, through natural language, interpretable policies in the form of easy-to-understand decision trees, 2) leverage these policies to warm-start reinforcement learning and 3) outperform baselines that lack our natural language initialization mechanism. We train our approach by collecting a first-of-its-kind corpus mapping free-form natural language policy descriptions to decision tree-based policies. We show that our novel framework translates natural language to decision trees with a 96% and 97% accuracy on a held-out corpus across two domains, respectively. Finally, we validate that policies initialized with natural language commands are able to significantly outperform relevant baselines (p < 0.001) that do not benefit from our natural language-based warm-start technique.

研究动机与目标

• 解决当前机器人策略定义方法中可解释性和可访问性不足的问题。
• 使非专家用户能够通过自然语言协作定义机器人行为。
• 开发一种机器学习框架，将自然语言描述转换为可解释的决策树策略。
• 通过使用基于自然语言的策略作为热启动，提升强化学习性能。
• 创建首个将自由形式自然语言映射到基于决策树的策略的语料库。

提出的方法

• 该框架在两个领域内收集了新的自然语言描述与对应决策树策略配对的语料库。
• 训练一个神经序列到树模型，将自由形式的自然语言映射为结构化的决策树。
• 利用学习到的策略表示来初始化并热启动深度强化学习智能体。
• 系统采用具有注意力机制的判别性序列到树架构，以改善语言与策略结构之间的对齐。
• 通过将策略限制为决策树形式，确保可解释性，使策略对人类可读且可修改。
• 通过零样本迁移从语言到策略的转换，随后在下游任务上进行强化学习微调，完成评估。

实验结果

研究问题

• RQ1 在机器人控制任务中，自然语言描述能否被准确映射到可解释的决策树策略？
• RQ2 基于语言的策略初始化在多大程度上提升了强化学习智能体的样本效率和最终性能？
• RQ3 与黑箱策略定义基线相比，所提出的框架在性能和可解释性方面提升了多少？
• RQ4 非专家用户能否在极少监督的情况下有效使用自然语言指定机器人行为？
• RQ5 所学习的从语言到策略的映射在不同机器人领域之间具有多大程度的泛化能力？

主要发现

• 在两个不同领域的一个保留测试集上，该框架在将自然语言映射到决策树方面分别实现了96%和97%的准确率。
• 使用自然语言命令初始化的策略显著优于未采用基于语言热启动的基线方法（p < 0.001）。
• 使用可解释的决策树使人类用户能够检查、理解并修改策略，从而增强了协作能力。
• 语言-策略对语料库使得在新任务上实现高保真度的零样本迁移成为可能。
• 该方法表明，自然语言可作为机器人策略定义中一种有效且易访问的模态。