[论文解读] Extracting Action Sequences from Texts Based on Deep Reinforcement Learning

Wenfeng Feng, Hankz Hankui Zhuo+1 more|arXiv (Cornell University)|Mar 7, 2018

Topic Modeling参考文献 24被引用 9

一句话总结

该论文提出EASDRL，一种深度强化学习框架，能够从无模板的自由形式自然语言文本中提取动作序列，而无需预定义的动作模板或已知的动作集合。通过将词语选择建模为动作，文本上下文建模为状态，EASDRL利用深度Q网络学习选择关键动作、可选动作或互斥动作的策略，在多个数据集上达到最先进性能，并在在线人机协同学习中表现出强鲁棒性。

ABSTRACT

Extracting action sequences from natural language texts is challenging, as it requires commonsense inferences based on world knowledge. Although there has been work on extracting action scripts, instructions, navigation actions, etc., they require that either the set of candidate actions be provided in advance, or that action descriptions are restricted to a specific form, e.g., description templates. In this paper, we aim to extract action sequences from texts in free natural language, i.e., without any restricted templates, provided the candidate set of actions is unknown. We propose to extract action sequences from texts based on the deep reinforcement learning framework. Specifically, we view "selecting" or "eliminating" words from texts as "actions", and the texts associated with actions as "states". We then build Q-networks to learn the policy of extracting actions and extract plans from the labeled texts. We demonstrate the effectiveness of our approach on several datasets with comparison to state-of-the-art approaches, including online experiments interacting with humans.

研究动机与目标

• 解决从缺乏预定义模板或已知动作集合的自然语言文本中提取有意义动作序列的挑战。
• 在强化学习中利用上下文状态表示建模复杂动作关系（如互斥性、必要性、可选性）。
• 实现从原始文本端到端学习动作序列提取，无需手工编码的动作词汇表或受限的语言形式。
• 通过在线人机协同交互评估模型的鲁棒性与适应性，实现持续学习。

提出的方法

• 将文本中的词语选择或删除视为强化学习框架中的动作，当前文本上下文视为状态。
• 使用深度Q网络（DQN）学习基于当前状态选择动作（动词及宾语）的策略，奖励由正确性和结构约束塑造。
• 将先前提取的动作纳入状态表示，以建模序列依赖关系并解决冲突（如互斥动作）。
• 实现一个在线人机协同训练环境，人类反馈实时更新Q网络。
• 采用基于正样本率的经验回放机制，并引入额外稀疏奖励，以提升样本效率与学习稳定性。
• 在标注数据集（WHS、CT、WHG）上端到端训练模型，并通过在未标注文本上的人类反馈进行微调。

实验结果

研究问题

• RQ1 深度强化学习框架是否能够无需预先了解动作集合知识，从自由形式自然语言中提取连贯且语义正确的动作序列？
• RQ2 该模型在动作选择中对互斥性、必要性和可选性等复杂动作关系的处理能力如何？
• RQ3 在在线学习循环中集成人类反馈是否能提升模型性能与适应性？
• RQ4 辅助组件（如额外奖励和正样本率经验回放）对模型收敛与准确率的贡献是什么？

主要发现

• 在互斥动作名称与参数提取任务中，EASDRL在绝对F1指标上优于最先进基线方法超过5%。
• 该模型在三个基准数据集（WHS、CT、WHG）上均取得显著性能提升，展现出跨领域的强泛化能力。
• 在线人机协同训练表明，随着反馈积累，EASDRL始终优于最佳离线基线方法（BLCC-2）。
• 消融实验确认，额外奖励与正样本率经验回放对性能均至关重要，移除任一组件均导致模型准确率下降。
• 该模型成功捕捉复杂动作关系，例如正确解析互斥动作对（如“煮”与“使用”大米），并准确识别关键动作（如“保持米饭冷藏”）。