[論文レビュー] Pre-trained Language Models as Prior Knowledge for Playing Text-based Games

Ishika Singh, Gargi Singh+1 more|arXiv (Cornell University)|Jul 18, 2021

Topic Modeling被引用数 5

ひとこと要約

本論文は、事前学習された言語モデル（PLMs）を事前知識として活用することで、テキストベースのゲームエージェントにおける意味理解を向上させる強化学習フレームワークを提案する。BERTベースの表現を深層Qネットワーク内でファインチューニングすることにより、Zork1で44.7という新たなSOTAスコアを達成し、前人最高のスコアから1.6ポイント向上した。これは、部分的に観察可能な自然言語環境において、推論能力とサンプル効率の向上を示している。

ABSTRACT

Recently, text world games have been proposed to enable artificial agents to understand and reason about real-world scenarios. These text-based games are challenging for artificial agents, as it requires an understanding of and interaction using natural language in a partially observable environment. Agents observe the environment via textual descriptions designed to be challenging enough for even human players. Past approaches have not paid enough attention to the language understanding capability of the proposed agents. Typically, these approaches train from scratch, an agent that learns both textual representations and the gameplay online during training using a temporal loss function. Given the sample-inefficiency of RL approaches, it is inefficient to learn rich enough textual representations to be able to understand and reason using the textual observation in such a complicated game environment setting. In this paper, we improve the semantic understanding of the agent by proposing a simple RL with LM framework where we use transformer-based language models with Deep RL models. We perform a detailed study of our framework to demonstrate how our model outperforms all existing agents on the popular game, Zork1, to achieve a score of 44.7, which is 1.6 higher than the state-of-the-art model. Overall, our proposed approach outperforms 4 games out of the 14 text-based games, while performing comparable to the state-of-the-art models on the remaining games.

研究の動機と目的

• テキストベースのゲームで、初期から訓練する強化学習エージェントにおけるサンプル非効率性と意味理解の不足を解決すること。
• ゲームから生成される観測のみから豊かなテキスト表現を学習するオンラインRLの限界を克服すること。
• 事前学習された言語モデルを事前知識として統合し、部分的に観察可能な自然言語環境における方策学習と意思決定を改善すること。
• 事前学習された表現を活用することで、多様なテキストベースのゲームに一般化し、より優れた一般化性能と性能を達成できることを示すこと。
• エージェントが環境の自然言語記述や暗黙の手がかりから学べるよう、手作業による報酬関数への依存を減らすこと。

提案手法

• ゲーム固有のテキスト観測データ上で事前学習されたBERTベースの言語モデルをファインチューニングし、意味的に豊かな状態表現を抽出する。
• PLMエンコーダーを深層Qネットワーク（DQN）アーキテクチャに統合し、文脈化された埋め込みに基づいた行動価値予測を生成する。
• 時間差分損失関数を用いた標準的な深層強化学習の目的関数を用い、方策をエンドツーエンドで訓練する。
• サンプル効率を向上させるためにカリキュラム学習と探索戦略を適用する。
• ベースラインとの公平な比較を保つために、従来の研究と同一の行動空間と環境インターフェースを維持する。
• エージェントを、ゴールの真値や報酬形状の情報にアクセスせずに、ゲーム環境からのスパarsな報酬のみを用いて訓練する。

実験結果

リサーチクエスチョン

• RQ1 事前学習された言語モデルは、テキストベースのゲームエージェントにおける意味理解を向上させる有効な事前知識として機能するか？
• RQ2 PLMを深層RLフレームワークに統合することで、初期から訓練する場合と比較して、より高いサンプル効率と性能が得られるか？
• RQ3 提案手法は、最終的なゲームスコアと複数のゲームにおける一般化性能の観点から、SOTAエージェントと比較してどのように異なるか？
• RQ4 事前学習された表現を用いることで、エージェントはオブジェクトの相互作用や環境記述といった暗黙の手がかりをより効果的に抽出・利用できるか？
• RQ5 PLMの使用により、テキストベースのゲーム環境における複雑な報酬形状設計やカリキュラム設計の必要性が低下するか？

主な発見

• 提案されたDBERT-DRRNモデルは、Zork1で44.7のスコアを達成し、新たなSOTAを樹立した。これは、前回の最高スコアから1.6ポイント向上した。
• このモデルは14の標準的テキストベースゲームのうち4つで既存のエージェントを上回り、単一の環境にとどまらない広範な有効性を示している。
• 事前学習された言語モデルの統合により、エージェントの複雑なテキスト記述の解釈能力と、行動選択に必要な関連手がかりの抽出能力が著しく向上した。
• ゲームプレイトレースから明らかになったように、暗い部屋でランタンや卵を正しく使用するような困難な状況でも、推論能力が向上している。
• 残りのゲームでも、SOTA結果と同等またはそれに近い性能を維持しており、ロバストネスと一般化能力が裏付けられている。
• 結果から、事前学習された言語モデルが、部分的に観察可能な自然言語環境における学習効率と最終的性能を向上させる強力なインダクティブバイアスを提供することが確認された。