[論文レビュー] Learning-to-Ask: Knowledge Acquisition via 20 Questions

Yihong Chen, Bei Chen+5 more|arXiv (Cornell University)|Jun 22, 2018

Mobile Crowdsensing and Crowdsourcing参考文献 25被引用数 9

ひとこと要約

本稿では、深層強化学習と一般化行列分解を用いて、同時に情報探索と知識獲得を実行できるエージェントが、20の質問ゲームにおいて効果的な質問戦略を学習するための「学びの質問」（LA）フレームワークを提案する。このフレームワークは、ターゲット同定と事実収集の両方を同時に最適化することで、高い勝率と迅速かつ正確な知識ベース拡張を達成し、戦略の共適応によって性能が向上することが実証されている。

ABSTRACT

Almost all the knowledge empowered applications rely upon accurate knowledge, which has to be either collected manually with high cost, or extracted automatically with unignorable errors. In this paper, we study 20 Questions, an online interactive game where each question-response pair corresponds to a fact of the target entity, to acquire highly accurate knowledge effectively with nearly zero labor cost. Knowledge acquisition via 20 Questions predominantly presents two challenges to the intelligent agent playing games with human players. The first one is to seek enough information and identify the target entity with as few questions as possible, while the second one is to leverage the remaining questioning opportunities to acquire valuable knowledge effectively, both of which count on good questioning strategies. To address these challenges, we propose the Learning-to-Ask (LA) framework, within which the agent learns smart questioning strategies for information seeking and knowledge acquisition by means of deep reinforcement learning and generalized matrix factorization respectively. In addition, a Bayesian approach to represent knowledge is adopted to ensure robustness to noisy user responses. Simulating experiments on real data show that LA is able to equip the agent with effective questioning strategies, which result in high winning rates and rapid knowledge acquisition. Moreover, the questioning strategies for information seeking and knowledge acquisition boost the performance of each other, allowing the agent to start with a relatively small knowledge set and quickly improve its knowledge base in the absence of constant human supervision.

研究の動機と目的

• 自動抽出による誤差率の高さと手動でのデータ整備の高コストという課題に対処するため、正確な知識を低コストで取得すること。
• 制限された質問回数の中で、ターゲットエンティティの特定（情報探索）と新しい事実の収集（知識獲得）を同時に実行できる知能エージェントを設計すること。
• ターゲット同定に効率的であり、関連性の高い高価値な事実を収集するのに効果的な、適応可能な質問戦略を構築すること。
• ベイジアン知識表現を用いて、人間の回答のノイズに強く対応できるようにすること。
• 対話によって知識ベースを自律的に改善し、継続的な人間の監視に依存しなくてもよいようにすること。

提案手法

• LAフレームワークは、深層強化学習（DQNおよびDRQN）を用いて、試行錯誤の反復的相互作用を通じて勝率を最大化する最適な情報探索戦略を学習する。
• ノイズや一貫性のないユーザーの応答に対しても耐性を高めるために、不確実性の推定を保持するベイジアン知識表現モデルを採用する。
• 知識獲得のため、LA-GMF手法は一般化行列分解を適用し、既存の知識と不確実性に基づいて、特定のエンティティに対して最も情報量が多く関連性の高い質問を特定する。
• ゲームセッションからのフィードバックを用いて、エージェントの質問戦略を反復的に更新することで、情報探索（IS）と知識獲得（KA）の両方のポリシーを同時に最適化する。
• 質問の埋め込み表現は深層ニューラルネットワークによって学習され、t-SNEを用いて可視化され、意味的に類似した質問が埋め込み空間内でクラスタリングしていることが確認された。
• ISとKAを統合することで、知識獲得が将来の情報探索戦略に影響を与え、フィードバックループを形成する。

実験結果

リサーチクエスチョン

• RQ1 エージェントは、ターゲットエンティティの同定と正確で関連性の高い事実の収集を同時に達成する質問をどのように学習できるか？
• RQ2 ノイズの多い人間の応答下でも、効率的かつ頑健な情報探索を実現する強化学習手法は何か？
• RQ3 高価値な事実を優先しつつ、無関係または混乱を招く質問を避けるために、知識獲得を効果的にモデル化する方法は何か？
• RQ4 情報探索プロセスに知識獲得を統合することで、エージェント全体の性能がどの程度向上するか？
• RQ5 ISとKA戦略の共同学習は、知識ベースの拡大をより速く正確に行うのに寄与するか？

主な発見

• LAフレームワークは、深層強化学習を用いて効果的な情報探索戦略を学習することで、20の質問ゲームにおけるエージェントの勝率を顕著に向上させた。
• LA-DRQNエージェントは、t-SNE可視化により、意味的に類似した質問が埋め込み空間内でクラスタリングしていることから、意味的意味を持つ質問表現を学習していることが裏付けられた。
• LA-GMF手法は、不確実性のみを基準とするベースラインよりも、より関連性が高く価値のある知識獲得用の質問を生成し、無駄な質問の機会を削減した。
• エージェントは、初期知識セットが小さい状態からでも、迅速に知識ベースを拡張し、高品質な事実を収集できた。
• ISとKA戦略の共適応により、学習がより速くなった。知識獲得がISポリシーを改善し、より良いISがより効果的なKAを可能にした。
• 実データを用いた実験結果から、エージェントは最小限の人的監視で高い性能を維持でき、インタラクティブなゲームを通じたゼロコストの知識獲得の実現可能性が示された。