[论文解读] Explain Yourself: A Natural Language Interface for Scrutable Autonomous Robots

Francisco J. Chiyah Garcia, David A. Robb+4 more|arXiv (Cornell University)|Mar 6, 2018

Topic Modeling参考文献 10被引用 18

一句话总结

本文提出 MIRIAM，一种自然语言接口，使远程自主车辆能够通过即兴说话方式，提供按需、经人工标注的、关于其行为的解释。通过从专家口头表达中推导出可解释的自主性模型，系统利用基于模板的自然语言生成技术，生成上下文感知、按置信度排序的解释，从而提升高风险远程操作中的透明度与信任度。

ABSTRACT

Autonomous systems in remote locations have a high degree of autonomy and there is a need to explain what they are doing and why in order to increase transparency and maintain trust. Here, we describe a natural language chat interface that enables vehicle behaviour to be queried by the user. We obtain an interpretable model of autonomy through having an expert 'speak out-loud' and provide explanations during a mission. This approach is agnostic to the type of autonomy model and as expert and operator are from the same user-group, we predict that these explanations will align well with the operator's mental model, increase transparency and assist with operator training.

研究动机与目标

• 解决远程自主车辆（AxVs）在高风险环境中运行时缺乏透明度与信任的问题。
• 开发一种自然语言接口，使操作员能够实时查询车辆行为。
• 构建一个与操作员心智模型对齐的可解释自主性模型，通过专家口头表达实现。
• 提升操作员的情境意识，并在任务监控过程中降低认知负荷。
• 评估在高风险操作环境中，解释生成的完整性与正确性之间的权衡。

提出的方法

• 专家在使用 SeeTrack 界面回放任务时，对自主车辆行为进行‘即兴说话’式解释。
• 基于专家解释构建决策树模型，以表示自主逻辑，捕捉‘为何’与‘为何不’的推理。
• 系统将当前任务状态与历史记录映射至决策树，检索相关解释并附带置信度水平。
• 利用基于模板的自然语言生成（NLG）技术生成解释，用词反映三个置信度层级：高（>80%）、中（40–80%）、低（<40%）。
• MIRIAM 接口与 Neptune 自主软件及 SeeTrack 可视化工具集成，支持多模态交互。
• 该方法与底层自主模型无关，适用于基于规则的系统以及深度学习等复杂模型。

实验结果

研究问题

• RQ1 自主车辆如何向远程操作员提供按需、上下文感知的行为解释？
• RQ2 在远程自主场景中，专家生成的解释在多大程度上与操作员心智模型一致？
• RQ3 在高风险操作环境中，解释的完整性与置信度（正确性）之间应如何达到最优平衡？
• RQ4 置信度指示词（如‘可能’、‘很可能’）如何影响用户对系统可靠性的信任与感知？
• RQ5 是否可以有效利用人工标注的、可解释的自主性模型，在多种自主架构中生成自然语言解释？

主要发现

• MIRIAM 系统成功利用专家来源的推理，生成上下文敏感、置信度排序的解释。
• 随着任务状态的演变，解释动态更新，置信度较高的回答在任务后期出现，因数据更充分。
• 可为同一行为提供多个原因，且不同原因具有不同置信度，反映实时决策中的不确定性。
• 系统表明，源自专家口头表达的解释与操作员心智模型高度契合，提升了透明度。
• 用户反馈表明，口头置信指示词（如‘可能’）在高风险情境下可能降低信任度，提示需采用其他表达方式。
• 该方法与底层自主模型无关，可广泛应用于基于规则和复杂深度学习系统。