[論文レビュー] Language is Power: Representing States Using Natural Language in Reinforcement Learning

Erez Schwartz, Guy Tennenholtz+2 more|arXiv (Cornell University)|Oct 2, 2019

Reinforcement Learning in Robotics参考文献 26被引用数 4

ひとこと要約

本稿では、強化学習における状態を、生の視覚入力の代わりに自然言語で表現する手法を提案している。事前学習済み言語モデルを活用して意味的意味を符号化する。ViZDoom環境において、言語ベースのエージェントは視覚ベースのエージェントよりも、サンプル効率性、耐性、最終的なパフォーマンスで優れている。これは、自然言語がRLにおける強力な意味的状態表現であることを示している。

ABSTRACT

Recent advances in reinforcement learning have shown its potential to tackle complex real-life tasks. However, as the dimensionality of the task increases, reinforcement learning methods tend to struggle. To overcome this, we explore methods for representing the semantic information embedded in the state. While previous methods focused on information in its raw form (e.g., raw visual input), we propose to represent the state using natural language. Language can represent complex scenarios and concepts, making it a favorable candidate for representation. Empirical evidence, within the domain of ViZDoom, suggests that natural language based agents are more robust, converge faster and perform better than vision based agents, showing the benefit of using natural language representations for reinforcement learning.

研究の動機と目的

• 自然言語が強化学習における効果的な意味的状態表現として機能するかどうかを調査すること。
• 複雑なRL環境において、言語ベースの状態表現と生の視覚的、意味的セグメンテーション表現を比較すること。
• 環境的摂動および不要要因の下での言語ベースのエージェントの耐性とサンプル効率性を評価すること。
• 主観的で非構造的かつ高次元の状態情報の符号化に自然言語を使用する可能性を検討すること。
• 言語表現がRLエージェントの解釈可能性と責任性を向上させる可能性を評価すること。

提案手法

• 環境の意味的コンテンツを捉えるために、ルールベースまたは学習済みパーサーを用いて生成された自然言語記述によって状態が表現される。
• 事前学習済みコンテキスト特化言語モデル（例：BERT）を用いて文埋め込みを抽出し、その後1次元畳み込みニューラルネットワークを用いて特徴抽出が行われる。
• 得られた文表現が、DQN や PPO といった標準的な深層強化学習アルゴリズムの入力として使用され、方策学習が行われる。
• フレームワークは、空間的、物体的、行動関連の情報を反映する自然言語文を用いて状態が記述されるViZDoom環境で評価される。
• 耐性は、視覚的ごみや環境変化などの不要要因を導入することでテストされ、表現タイプごとのパフォーマンス低下が測定される。
• ハイパーパramータのアブレーションスタディが実施され、入力シーケンス長および言語モデル内のパッチ数の影響が分析される。

実験結果

リサーチクエスチョン

• RQ1 生の視覚入力と比較して、自然言語表現は、深層強化学習におけるサンプル効率性および最終的パフォーマンスを向上させるか？
• RQ2 環境的摂動および不要要因の下で、言語ベースのエージェントの耐性は視覚ベースのエージェントと比べてどうか？
• RQ3 どのような環境や状態空間において、自然言語表現が特に有利となるか？
• RQ4 主観的で一時的、または非構造的な情報は、自然言語表現によって、ピクセルやベクトル形式では表現しづらい情報として効果的に符号化できるか？
• RQ5 言語ベースの状態表現は、RLエージェントの解釈可能性と責任性をどの程度向上させられるか？

主な発見

• ViZDoomの「センターを守れ」シナリオにおいて、言語ベースのエージェントは視覚ベースのエージェントよりも高い最終平均報酬を達成し、優れたパフォーマンスを示した。
• 言語ベースのエージェントは、より速く収束し、サンプル効率性が高かったため、最良のパフォーマンスに到達するための訓練ステップ数が削減された。
• 耐性評価では、言語ベースのエージェントが視覚ベースのエージェントよりも著しく環境的不要要因や視覚的ごみに対して耐性があることが示された。
• 環境に迷惑な要素が導入されても、言語ベースのエージェントのパフォーマンスは安定しており、より優れた一般化能力を示している。
• アブレーションスタディの結果、言語モデル内の入力パッチ数を増やすことでパフォーマンスが向上したことが判明し、より豊かなテクスト的文脈が表現品質を向上させることを示唆している。
• 本研究は、自然言語表現が、空間的関係、物体状態、タスク関連のダイナミクスといった複雑な意味的コンテンツを効果的に符号化できることを示しており、ピクセル入力よりも意味的豊かさと学習効率性に優れている。