[论文解读] Learning-to-Ask: Knowledge Acquisition via 20 Questions

Yihong Chen, Bei Chen+5 more|arXiv (Cornell University)|Jun 22, 2018

Mobile Crowdsensing and Crowdsourcing参考文献 25被引用 9

一句话总结

本文提出了学习提问（Learning-to-Ask, LA）框架，该框架结合深度强化学习与广义矩阵分解，使智能体能够在20个问题游戏中同时实现信息搜索与知识获取，学习有效的提问策略。该框架通过联合优化目标识别与事实收集，实现了高胜率及快速、准确的知识库扩展，实证结果表明策略协同适应可显著提升性能。

ABSTRACT

Almost all the knowledge empowered applications rely upon accurate knowledge, which has to be either collected manually with high cost, or extracted automatically with unignorable errors. In this paper, we study 20 Questions, an online interactive game where each question-response pair corresponds to a fact of the target entity, to acquire highly accurate knowledge effectively with nearly zero labor cost. Knowledge acquisition via 20 Questions predominantly presents two challenges to the intelligent agent playing games with human players. The first one is to seek enough information and identify the target entity with as few questions as possible, while the second one is to leverage the remaining questioning opportunities to acquire valuable knowledge effectively, both of which count on good questioning strategies. To address these challenges, we propose the Learning-to-Ask (LA) framework, within which the agent learns smart questioning strategies for information seeking and knowledge acquisition by means of deep reinforcement learning and generalized matrix factorization respectively. In addition, a Bayesian approach to represent knowledge is adopted to ensure robustness to noisy user responses. Simulating experiments on real data show that LA is able to equip the agent with effective questioning strategies, which result in high winning rates and rapid knowledge acquisition. Moreover, the questioning strategies for information seeking and knowledge acquisition boost the performance of each other, allowing the agent to start with a relatively small knowledge set and quickly improve its knowledge base in the absence of constant human supervision.

研究动机与目标

• 为解决在自动提取错误率高、人工校对成本高的情况下，以低成本获取准确知识的挑战。
• 设计一种智能体，可在有限提问轮次内同时执行信息搜索（定位目标实体）与知识获取（收集新事实）。
• 开发高效的目标识别与高价值事实收集兼具的自适应提问策略。
• 通过贝叶斯知识表示提升对噪声人类回答的鲁棒性。
• 使智能体能够通过交互自主完善知识库，减少对持续人工监督的依赖。

提出的方法

• LA框架采用深度强化学习（DQN与DRQN）学习最优信息搜索策略，智能体通过试错交互最大化胜率。
• 采用贝叶斯知识表示模型维护不确定性估计，提升对噪声或不一致用户回答的鲁棒性。
• 在知识获取方面，LA-GMF方法利用广义矩阵分解，基于现有知识与不确定性，识别针对特定实体最具信息量与相关性的提问。
• 智能体通过游戏会话的反馈迭代更新提问策略，实现信息搜索（IS）与知识获取（KA）策略的同步优化。
• 通过深度神经网络学习问题嵌入，并利用t-SNE进行可视化，证实语义相关的问题在嵌入空间中聚集在一起。
• 通过允许知识获取影响并改进未来的搜索策略，实现IS与KA的集成，形成反馈回路。

实验结果

研究问题

• RQ1 智能体如何学习提出既能识别目标实体又能收集准确、相关事实的问题？
• RQ2 哪些强化学习方法可在人类回答存在噪声的情况下实现高效且稳健的信息搜索？
• RQ3 如何有效建模知识获取，以优先获取高价值事实，同时避免无关或混淆性问题？
• RQ4 将知识获取整合到信息搜索过程中，能在多大程度上提升智能体的整体性能？
• RQ5 IS与KA策略的联合学习能否实现更快、更准确的知识库增长？

主要发现

• LA框架通过深度强化学习学习有效信息搜索策略，显著提升了智能体在20个问题游戏中的胜率。
• LA-DRQN智能体学习到了有意义的问题表示，t-SNE可视化结果表明语义相关的问题在嵌入空间中聚集在一起。
• LA-GMF方法生成的问题比仅基于不确定性的基线方法更具相关性与价值，减少了提问机会的浪费。
• 智能体实现了快速的知识库扩展，即使初始知识集较小，也能收集到高质量的事实。
• IS与KA策略的协同适应显著加快了学习速度，因为知识获取提升了IS策略，而更优的IS又促进了更有效的KA。
• 在真实数据上的实证结果表明，智能体可在极少人工监督下维持高性能，证明了通过互动游戏实现零成本知识获取的可行性。