[论文解读] Action Assembly: Sparse Imitation Learning for Text Based Games with Combinatorial Action Spaces

Chen Tessler, Tom Zahavy+3 more|arXiv (Cornell University)|May 23, 2019

Multimodal Machine Learning Applications参考文献 36被引用 11

一句话总结

本文提出稀疏模仿学习（Sparse-IL），一种计算高效的算法，结合压缩感知与模仿学习，以解决具有组合动作空间的文本游戏。通过使用一种新型整数K-正交匹配追踪（IK-OMP）算法，从密集词嵌入和中重建出有意义的自然语言动作，该方法成功利用完美及噪声专家示范，解决了包含约1000万个可能动作的完整Zork1游戏。

ABSTRACT

We propose a computationally efficient algorithm that combines compressed sensing with imitation learning to solve text-based games with combinatorial action spaces. Specifically, we introduce a new compressed sensing algorithm, named IK-OMP, which can be seen as an extension to the Orthogonal Matching Pursuit (OMP). We incorporate IK-OMP into a supervised imitation learning setting and show that the combined approach (Sparse Imitation Learning, Sparse-IL) solves the entire text-based game of Zork1 with an action space of approximately 10 million actions given both perfect and noisy demonstrations.

研究动机与目标

• 解决文本游戏中的组合动作空间挑战，其中动作枚举在计算上不可行。
• 通过利用压缩感知与词嵌入，克服传统模仿学习在大动作空间中的低效性。
• 实现在自然语言环境中从不完美或噪声专家示范中进行鲁棒策略学习。
• 开发一种方法，利用预训练词嵌入在语义相似动作（如“drop”、“throw”、“discard”）之间实现泛化。
• 在无需穷举动作枚举的情况下，实现对复杂文本游戏（如Zork1）的端到端求解。

提出的方法

• 使用神经编码器将游戏状态映射为动作的密集连续表示（a_SoE），定义为预期动作词嵌入的和。
• 应用整数K-正交匹配追踪（IK-OMP）算法，从连续嵌入向量a_SoE中重建最可能的词袋（BoW）动作。
• 引入适应度函数以评分候选BoW动作，并选择最优者在环境中执行。
• 将选定的动作输入语言模型，生成游戏解释器可解析的自然语言指令（a_env）。
• 通过监督模仿学习训练编码器，使用预测a_SoE向量与示范a_SoE向量之间的均方误差（MSE）作为损失函数。
• 利用预训练词嵌入（如GloVe）实现语义泛化，提升对同义词与噪声的鲁棒性。

实验结果

研究问题

• RQ1 压缩感知技术能否有效适配于从大组合动作空间中学习到的嵌入表示中恢复自然语言动作？
• RQ2 与基线压缩感知方法相比，所提出的IK-OMP算法在从噪声或损坏的嵌入和中重建真实动作时表现如何？
• RQ3 基于嵌入的动作表示的模仿学习在语义相似但词汇不同的动作之间（如“drop”、“throw”、“discard”）能实现多大程度的泛化？
• RQ4 压缩感知与模仿学习的混合方法是否能仅使用专家示范（即使存在噪声）成功解决包含约1000万个动作的完整Zork1游戏？
• RQ5 与端到端学习相比，使用预训练词嵌入是否显著提升了策略的泛化能力与对示范错误的鲁棒性？

主要发现

• Sparse-IL首次在使用专家示范的模仿学习中成功解决了完整的Zork1游戏，包括全部约1000万个动作。
• IK-OMP在重建准确率与下游任务性能方面均优于基线压缩感知方法及端到端模型（如DeepCS-2），尤其在噪声示范下表现更优。
• 由于预训练词嵌入的语义归纳偏置，该方法能有效泛化至语义相似动作（如“drop”、“throw”、“discard”）。
• 即使在40%概率接收到次优动作示范的情况下，Sparse-IL仍保持高性能，展现出对噪声专家数据的强鲁棒性。
• 训练过程显示嵌入表示的信噪比（SNR）持续提升，表明有效学习到了清晰的动作表示。
• 使用嵌入和（a_SoE）作为监督信号，相比直接预测BoW向量，实现了更好的泛化性能，原因在于语义相似词在嵌入空间中呈现几何聚类特性。