[論文レビュー] WordCraft: An Environment for Benchmarking Commonsense Agents

Minqi Jiang, Jelena Luketina+5 more|arXiv (Cornell University)|Jul 17, 2020

Topic Modeling参考文献 42被引用数 10

ひとこと要約

WordCraft は、Little Alchemy 2 を基盤として、エージェントの常識的推論をベンチマークするための高速で軽量な強化学習環境を導入する。自然言語にエンティティを埋め込み、ComplEx リンク予測を介して知識グラフを統合することで、KGフリーのベースラインと比較してゼロショット一般化が著しく向上する。

ABSTRACT

The ability to quickly solve a wide range of real-world tasks requires a commonsense understanding of the world. Yet, how to best extract such knowledge from natural language corpora and integrate it with reinforcement learning (RL) agents remains an open challenge. This is partly due to the lack of lightweight simulation environments that sufficiently reflect the semantics of the real world and provide knowledge sources grounded with respect to observations in an RL environment. To better enable research on agents making use of commonsense knowledge, we propose WordCraft, an RL environment based on Little Alchemy 2. This lightweight environment is fast to run and built upon entities and relations inspired by real-world semantics. We evaluate several representation learning methods on this new benchmark and propose a new method for integrating knowledge graphs with an RL agent.

研究の動機と目的

• 現実の概念に知識を埋め込むことのできる軽量で意味的豊富な RL 環境の不足に対処すること。
• 自然言語および知識グラフからの常識的知識を利用するエージェントの効率的ベンチマークを可能にすること。
• 事前学習済みの知識グラフ埋め込みが、RL エージェントにおけるゼロショット一般化をどのように向上させるかを調査すること。
• ComplEx リンクスコアを用いた知識グラフ予測に条件づけた RL ポリシーの開発および評価を行うこと。

提案手法

• WordCraft は、700 個のエンティティと 3,417 個の有効なアイテムコンビネーションを持つマルコフ決定過程として構築され、Little Alchemy 2 を模したクラフトゲームをシミュレートする。
• エンティティは自然言語の意味を用いて埋め込まれ、ConceptNet などの外部知識ソースと整合可能になる。
• 有効なレシピの知識グラフ上で ComplEx モデルを学習させ、エンティティ間の欠落した関係を予測する。
• ポリシー・ネットワークは、ComplEx が予測した関係スコア（例：combinesWith、componentOf）の重み付き和と自己注意重みを組み合わせ、行動選択をガイドする。
• エージェントのポリシーは知識グラフ埋め込みに条件づけられ、未観測のコンビネーションへの一般化が可能になる。
• 評価では、ドロップアウト数を変化させた深さ1および深さ2のタスクにおけるゼロショット成功確率を用い、KG拡張済みエージェントと KGフリーのエージェントを比較する。

実験結果

リサーチクエスチョン

• RQ1 知識グラフ埋め込みは、記号的推論環境内での RL エージェントにおけるゼロショット一般化を向上させることができるか？
• RQ2 関係スコアの選択（例：combinesWith と componentOf）がポリシー性能および行動選択に与える影響は何か？
• RQ3 完全な知識グラフへのアクセスが、部分的または知識なしの状況と比較して、未観測タスクへの一般化においてどの程度優位性を示すか？
• RQ4 外部知識なしのエンドツーエンド RL と比較して、ComplEx 予測スコアの統合はどの程度効果的か？
• RQ5 明示的な知識統合がなくても、より多くの訓練データを用いることでモデルの性能が向上するか？

主な発見

• ComplEx を介した完全な知識グラフへのアクセスは、特にドロップアウト数が少ない状況で、ゼロショット成功確率を顕著に向上させる。
• 「combinesWith」関係スコアのみを用いる完全-KG エージェントは高い成功確率を達成するが、自己結合予測により同じエンティティを2回選択してしまう場合がある。
• 部分-KG エージェントは KGフリーのエージェントを一貫して上回らないため、RL エージェントはデータそのものから関係的インダクティブバイアスを学習できる可能性がある。
• KG拡張済みエージェントは初期学習段階で優れたパフォーマンスを示し、KGフリーの対比エージェントよりも速く高いゼロショット成功確率に到達する。
• 「componentOf」関係スコアは、ゴールの最も確率の高い成分を優先するため、エージェントが同じエンティティを2回選択してしまうなど、非効率な行動を引き起こす。
• 人間のパフォーマンスは、ドロップアウト数が1または8の両方で安定しており、人間の推論は曖昧性の増加に対して頑健であることが示され、一部のモデル行動とは対照的である。