[論文レビュー] Deep Reinforcement Learning with an Action Space Defined by Natural Language

Ji He, Jianshu Chen+5 more|arXiv (Cornell University)|Nov 13, 2015

Topic Modeling被引用数 5

ひとこと要約

本稿では、自然言語を用いてテキストベースのゲームにおける行動を定義する、新しい深層強化学習アーキテクチャ「Deep Reinforcement Relevance Network（DRRN）」を紹介する。状態と行動の両方の高次元埋め込みを学習し、内積やDNNなどの相互作用関数を用いてQ関数を近似することで、自然言語に特徴的な大規模でスパースかつ非有界な行動空間を効果的に処理し、2つのベンチマークテキストゲームにおいて、既存の深層Q学習モデルを上回る優れた性能を達成した。

ABSTRACT

In this paper, we propose the deep reinforcement relevance network (DRRN), a novel deep architecture, to design a model for handling an action space characterized using natural language with applications to text-based games. For a particular class of games, a user must choose among a number of actions described by text, with the goal of maximizing long-term reward. In these games, the best action is typically what fits the current situation best (modeled as a state in the DRRN), also described by text. Because of the exponential complexity of natural language with respect to sentence length, there is typically an unbounded set of unique actions. Even with a constrained vocabulary, the action space is very large and sparse, posing challenges for learning. To address this challenge, the DRRN extracts separate high-level embedding vectors from the texts that describe states and actions, respectively, using a general interaction function, such as inner product, bilinear, and DNN interaction, between these embedding vectors to approximate the Q-function. We evaluate the DRRN on two popular text games, showing superior performance over other deep Q-learning architectures.

研究の動機と目的

• 自然言語によって定義された非有界かつスパースな行動空間を有する環境における学習の課題に対処すること。
• 状態と行動の両方の自然言語記述を処理・実行できる深層強化学習モデルを設計すること。
• Q値近似にための意味的埋め込みと相互作用関数を活用することで、テキストベースのゲームにおける学習効率と性能を向上させること。
• 複雑で自然言語に基づく行動空間を有する現実世界のテキストゲームベンチマークにおいて、モデルの有効性を評価すること。

提案手法

• DRRNアーキテクチャは、ニューラルネットワークを用いて、状態と行動記述の両方の高次元埋め込みベクトルを別々に学習する。
• 状態と行動の埋め込みの間で、内積、双線形、または深層ニューラルネットワークなどの相互作用関数を用い、Q関数を近似する。
• 相互作用関数により、事前に定義された行動集合を必要とせずに、特定の状態における行動の期待報酬を計算できる。
• 学習の安定化を図るため、経験再生とターゲットネットワークを用いたエンドツーエンドの深層Q学習でモデルを訓練する。
• 各自然言語行動を固有の埋め込みベクトルとして扱うことで、動的で非有界な行動空間をサポートする。

実験結果

リサーチクエスチョン

• RQ1 非有界で自然言語で定義された行動空間を有する環境に対して、深層強化学習をどのように効果的に適用できるか。
• RQ2 状態と行動記述の意味的埋め込みを用いることで、テキストベースのゲームにおけるQ値近似が改善されるか。
• RQ3 状態と行動の埋め込みの間で相互作用関数を用いることで、標準的な深層Qネットワークと比較して、学習効率と性能が向上するか。
• RQ4 DRRNは、サンプル効率およびテキストベースのゲームにおける最終的な性能の観点から、既存の深層Q学習モデルと比較してどのように差をつけるか。

主な発見

• DRRNは、2つの人気のあるテキストベースのゲームベンチマークにおいて、他の深層Q学習アーキテクチャを上回り、学習の安定性と最終的な性能の両方を向上させた。
• 状態と行動の埋め込みの間の相互作用関数の使用により、行動空間のスパarsityと非有界性にもかかわらず、効果的なQ値近似が可能となった。
• 学習された埋め込みを通じて、状態記述と潜在的行動との間の意味的関連性を捉えることで、優れた性能を達成した。
• 固定された行動語彙を必要とせず、多様な自然言語行動に対して効果的に一般化できる。