[论文解读] What can you do with a rock? Affordance extraction via word embeddings

Nancy Fulda, Daniel Ricks+2 more|arXiv (Cornell University)|Mar 9, 2017

Topic Modeling参考文献 23被引用 20

一句话总结

本文提出利用在维基百科上训练的词嵌入来提取物体功能（即在特定情境下可行的动作），使强化学习智能体能够修剪无用动作，从而在文本型环境中提升学习效率。通过将词向量视为知识库，并利用线性代数进行查询，该方法提高了学习效率并实现类人的动作选择，在测试游戏中最多减少60%的总步数，同时保持或提升奖励获取能力。

ABSTRACT

Autonomous agents must often detect affordances: the set of behaviors enabled by a situation. Affordance detection is particularly helpful in domains with large action spaces, allowing the agent to prune its search space by avoiding futile behaviors. This paper presents a method for affordance extraction via word embeddings trained on a Wikipedia corpus. The resulting word vectors are treated as a common knowledge database which can be queried using linear algebra. We apply this method to a reinforcement learning agent in a text-only environment and show that affordance-based action selection improves performance most of the time. Our method increases the computational complexity of each learning step but significantly reduces the total number of steps needed. In addition, the agent's action selections begin to resemble those a human would choose.

研究动机与目标

• 解决在文本型环境中，具有庞大动作空间的强化学习智能体探索效率低下的挑战。
• 使智能体能够在不依赖手工规则或显式知识库的情况下，检测上下文上可行的动作（即功能）。
• 通过利用预训练词嵌入中的语义知识，减少搜索空间，从而提高学习效率。
• 评估基于功能的动作选择是否能带来更快的收敛速度和更类人的行为表现，特别是在文本型冒险游戏中。
• 探索在词向量空间中利用语义相似性实现自由形式、动态动作选择的可行性。

提出的方法

• 在大规模维基百科语料上训练 word2vec 嵌入，以构建词语及其上下文关系的稠密语义表示。
• 通过向量运算（如类比推理）查询词向量空间，推断给定物体可能的动作。
• 利用物体向量与动词向量之间的余弦相似度，识别在当前状态下语义上合理的动作（即功能）。
• 将功能检测模块集成到 Q-learning 智能体中，限制动作选择仅限于语义上合理的动词。
• 应用一种动态动作选择机制，通过当前物体的语义最近邻，按状态动态扩展动作集合。
• 在文本型游戏环境中，将基于功能的动作选择与随机选择、基于概念的方法以及共现阈值法进行对比。

实验结果

研究问题

• RQ1 在维基百科上训练的词嵌入是否能够编码隐含的功能知识，使智能体能够避免不可行动作？
• RQ2 基于功能的动作修剪是否能提高文本型强化学习环境中的学习效率？
• RQ3 与随机选择、ConceptNet 过滤或共现阈值法等替代方法相比，基于功能的动作选择表现如何？
• RQ4 利用语义相似性实现的自由形式动作生成，是否能产生比固定动词列表更具创造性和有效性的行为？
• RQ5 基于功能的选择在多大程度上能导致类人的动作选择？

主要发现

• 基于功能的动作选择显著减少了所需的学习步数，在测试游戏中样本效率最高提升60%。
• 该方法优于随机修剪、基于 ConceptNet 的过滤以及共现阈值法，后三者常错误地剪除关键动作，导致性能下降。
• 使用功能检测的智能体开始选择与人类选择高度相似的动作，表明其语义推理能力得到提升。
• 自由形式的动作生成机制通过使用语义最近邻动态扩展动作集合，产生了原始动词列表中不存在的、富有创意且符合语境的动作。
• 基于内在奖励的探索未能优于基于功能的修剪，表明语义约束比仅依赖奖励的探索更有效。
• 该方法在多种文本型游戏中表现出鲁棒性，即使在动作空间庞大的复杂环境中，也实现了稳定且一致的性能提升。