[论文解读] Interactive Language Learning by Question Answering

Xingdi Yuan, Marc-Alexandre Côté+5 more|arXiv (Cornell University)|Aug 28, 2019

Topic Modeling参考文献 46被引用 12

一句话总结

本文提出了 QAit，一项新颖的机器阅读理解任务，通过基于文本的交互环境强调程序性知识，要求智能体通过自然语言指令探索并收集信息以回答问题。实验表明，尽管人类能轻松解决 QAit 任务，但标准模型由于依赖模式匹配而失败，凸显了在动态、部分可观测环境中学习信息获取行为的挑战。

ABSTRACT

Humans observe and interact with the world to acquire knowledge. However, most existing machine reading comprehension (MRC) tasks miss the interactive, information-seeking component of comprehension. Such tasks present models with static documents that contain all necessary information, usually concentrated in a single short substring. Thus, models can achieve strong performance through simple word- and phrase-based pattern matching. We address this problem by formulating a novel text-based question answering task: Question Answering with Interactive Text (QAit). In QAit, an agent must interact with a partially observable text-based environment to gather information required to answer questions. QAit poses questions about the existence, location, and attributes of objects found in the environment. The data is built using a text-based game generator that defines the underlying dynamics of interaction with the environment. We propose and evaluate a set of baseline models for the QAit task that includes deep reinforcement learning agents. Experiments show that the task presents a major challenge for machine reading systems, while humans solve it with relative ease.

研究动机与目标

• 解决现有 MRC 任务依赖静态、完全可观测文档并导致浅层模式匹配的局限性。
• 通过要求智能体探索并交互于部分可观测环境，开发一项模拟人类信息获取行为的任务。
• 评估模型是否能通过序列交互学习到有效的证据收集策略，而非记忆问题-答案映射。
• 创建一项基准任务，强调程序性知识——特别是信息收集过程——而非陈述性知识的提取。
• 在受控的、基于文本的环境中，为现有模型和强化学习智能体提供一项需要推理、探索和指令生成的任务。

提出的方法

• QAit 任务基于文本游戏生成器（TextWorld）构建，创建了布局、物品放置和属性均随机化的多样化、部分可观测环境。
• 智能体通过发出自然语言指令（例如，'向北走'，'拿起红色哥布林'）与环境交互，每步操作后接收文本反馈。
• 环境设计使得并非所有必要信息同时可用，要求智能体在多轮交互中探索并收集证据。
• 基线模型包括在 QAit 环境上微调的深度强化学习智能体（如 Rainbow），目标是最大化问答准确率。
• 使用充分信息奖励作为代理指标，以监测智能体是否真正收集了相关信息，而非仅记忆答案。
• 数据集已公开发布，以支持可复现性，并推动交互式语言学习与程序性推理的进一步研究。

实验结果

研究问题

• RQ1 在 QAit 上训练的模型是否能有效通过多轮交互探索并收集证据，而非依赖静态模式匹配？
• RQ2 标准深度强化学习智能体在需要程序性知识和信息获取的、部分可观测环境中的表现如何？
• RQ3 在有限训练环境中，模型在取得高准确率的情况下，对问题-答案映射的过拟合程度如何，即使在高准确率下？
• RQ4 内在动机或中间奖励是否能改善 QAit 中长时程信息收集过程的学习效果？
• RQ5 环境结构和模板化语言的使用在多大程度上影响智能体的泛化能力和鲁棒性？

主要发现

• 标准深度强化学习智能体（包括 Rainbow）在有限训练游戏上取得了高问答准确率，但无法泛化到未见过的环境。
• 尽管问答准确率高，单个游戏训练中充分信息奖励仍接近零，表明智能体过拟合于问题-答案映射，而非学习信息收集行为。
• QAit 任务对现有 MRC 和强化学习系统构成重大挑战，因部分可观测性和动态环境导致简单词匹配策略失效。
• 人类能相对轻松地解决 QAit 任务，凸显了人类式信息获取行为与当前模型能力之间的差距。
• 该任务促进了学习推理与探索过程的模型发展，而非记忆静态文档-文本映射。
• 结果表明，密集奖励或中间监督可能是训练 QAit 中长时程信息收集任务智能体的必要条件。