[論文レビュー] Enhancing Text-based Reinforcement Learning Agents with Commonsense Knowledge

Keerthiram Murugesan, Mattia Atzeni+4 more|arXiv (Cornell University)|May 2, 2020

Topic Modeling参考文献 33被引用数 17

ひとこと要約

本稿では、テキストベースの環境向けに強化学習エージェントを提案し、ConceptNetからの日常的知識と記号的信念グラフを統合することで、探索の削減とサンプル効率の向上を図っている。リアルタイムの環境観測と外部知識を動的に統合することで、キッチン清掃および調理レシピタスクにおいて優れた性能を達成したが、知識の過剰は学習を妨げる場合があり、文脈に応じた知識統合の必要性が浮き彫りになった。

ABSTRACT

In this paper, we consider the recent trend of evaluating progress on reinforcement learning technology by using text-based environments and games as evaluation environments. This reliance on text brings advances in natural language processing into the ambit of these agents, with a recurring thread being the use of external knowledge to mimic and better human-level performance. We present one such instantiation of agents that use commonsense knowledge from ConceptNet to show promising performance on two text-based environments.

研究の動機と目的

• テキストベースの強化学習エージェントのサンプル非効率性を、日常的知識を組み込むことで解決すること。
• TextWorldのようなテキストベースの環境において、ConceptNetからの外部知識が探索をどのように削減できるかを調査すること。
• 日常的知識がエージェントの性能を向上させるか、あるいは悪化させる条件を探索すること。
• エージェントの現在の信念状態とグローバルな日常的知識をそれぞれ記号的に表現する二重グラフアーキテクチャを構築すること。
• キッチン清掃およびレシピベースのゲームを含む多様なテキストベースタスクにおいて、手法を評価すること。

提案手法

• エージェントは、テキスト観測に基づいて環境の現在の認識を記号的に表現するローカル信念グラフを維持する。
• エージェントは、ConceptNetのエンティティと関係を用いて、外部の世界知識を表すグローバル日常的知識グラフを構築する。
• エージェントは、信念グラフと日常的知識グラフを、微分可能かつ注意メカニズムを用いて統合し、行動選択をガイドする。
• 知識統合モードとして、2種類のモードをサポートする：フルグラフ（初期段階で全知識を入手）とエボリューショングラフ（エージェントが探索を進めるに従い段階的に知識を追加）。
• アプローチは、グラフ補助Transformerエージェント（GATA）を模倣したフレームワークを用い、状態表現は記号的グラフ上の自己注意により学習される。
• 性能は、キッチン清掃およびレシピベースの調理ゲームの2つのテキストベースタスクにおいて、複数回の実行で測定される。

実験結果

リサーチクエスチョン

• RQ1 ConceptNetからの日常的知識統合により、テキストベースの強化学習環境における探索の削減とサンプル効率の向上が可能か？
• RQ2 知識統合のタイミング（フル対インクリメンタル）がエージェントの性能に与える影響は何か？
• RQ3 どのような条件下で外部知識がエージェントの性能を低下させるのか？
• RQ4 記号的信念グラフと日常的知識の統合が、テキストベースのゲームにおける意思決定をどのように向上させるか？
• RQ5 どのような状況で真の信念グラフ情報が日常的知識よりも有益であるか？

主な発見

• 提案されたエージェントは、キッチン清掃タスクにおいて、単純なテキストベースエージェントおよびGATAベースラインを上回り、探索の削減と高速収束を実証した。
• 調理レシピタスクでは、エボリューショングラフ設定（段階的知識統合）がフルグラフ設定を上回った。これは、遅延した知識統合がノイズを低減し、性能向上に寄与することを示している。
• GATA_Fullエージェントは調理レシピタスクで最も優れた性能を示した。これは、局所的目標を持つ単純なタスクでは、真の状態情報が日常的知識よりも効果的である可能性を示唆している。
• 過剰または適切にフィルタリングされない日常的知識はエージェントを圧倒し、特に低複雑性の環境では性能が低下する可能性がある。
• 複雑なタスク、たとえばオブジェクトの位置関係を推論する必要があるキッチン清掃タスクでは、二重グラフアプローチ（信念 + 日常的知識）が顕著に性能を向上させた。
• 結果から、知識統合は文脈に応じたものでなければならないことが示された。日常的知識の有用性は、タスクの複雑さと環境構造に依存する。