[論文レビュー] The Natural Language of Actions

Guy Tennenholtz, Shie Mannor|arXiv (Cornell University)|Feb 4, 2019

Reinforcement Learning in Robotics参考文献 31被引用数 8

ひとこと要約

本論文では、自然言語処理にインspiredされた、示された軌道を用いて文脈に基づいた行動表現を学ぶためのAct2Vecというフレームワークを紹介する。行動を『行動の自然言語』の中の単語としてモデル化することで、より良い状態表現、Q値の近似、および効率的な探索を可能にし、ナビゲーション、描画、StarCraft IIのタスクにおいて測定可能なパフォーマンス向上が確認された。

ABSTRACT

We introduce Act2Vec, a general framework for learning context-based action representation for Reinforcement Learning. Representing actions in a vector space help reinforcement learning algorithms achieve better performance by grouping similar actions and utilizing relations between different actions. We show how prior knowledge of an environment can be extracted from demonstrations and injected into action vector representations that encode natural compatible behavior. We then use these for augmenting state representations as well as improving function approximation of Q-values. We visualize and test action embeddings in three domains including a drawing task, a high dimensional navigation task, and the large action space domain of StarCraft II.

研究の動機と目的

• 強化学習における意味的で文脈に基づいた行動表現を学ぶための汎用フレームワークの開発。
• 環境内での許容可能で整合性のある行動に関する事前知識を、示された軌道を用いて抽出する。
• 行動履歴埋め込みを状態表現に組み込むことで、強化学習のパフォーマンスを向上させる。
• 類似した行動のクラスタリングにより、大規模な行動空間環境における探索の効率化を実現する。
• 学習されたベクトル空間における行動間の意味的関係の可視化と解釈。

提案手法

• Act2Vecは、負例サンプリングを用いた連続的スキップグラムモデル（SGNS）を用い、示された軌道における文脈的共起に基づいてd次元の行動表現を学習する。
• 本手法では、行動を単語として、その文脈を行動シーケンスにおける隣接する行動としてモデル化し、ポイントワイズ相互情報量（PMI）を用いて意味的類似性や関係性を捉える。
• 行動埋め込みは、現在の状態と学習された行動履歴埋め込みを組み合わせることで状態表現を拡張し、ポリシー学習のための統合表現を形成する。
• クラスタベースの探索戦略が導入され、行動埋め込みの類似度に基づいて行動をグループ化することで、大規模な行動空間における重複した探索を低減する。
• フレームワークは、示されたポリシーの軌道のコーパス上で学習され、順序依存性をモデル化するための固定長|H|の文脈ウィンドウが用いられる。
• 本アプローチにより、埋め込み空間における行動間の構造的関係を活用することで、Q値関数の近似が向上する。

実験結果

リサーチクエスチョン

• RQ1 示された軌道から学習された行動表現は、類似性や対称性といった意味的関係を的確に捉えられるか？
• RQ2 文脈に基づいた行動埋め込みは、強化学習における状態表現をどのように改善するか？
• RQ3 行動埋め込みは、大規模な行動空間環境においてQ値関数の近似を向上させ、サンプルの複雑さを低減できるか？
• RQ4 類似した行動のクラスタリングにより、行動埋め込みがどの程度効率的な探索を可能にするか？
• RQ5 行動埋め込みは、高次元で複雑なドメイン（例：StarCraft II）を含む多様な環境にどのように一般化されるか？

主な発見

• Act2Vecは、ナビゲーションおよび描画タスクにおける行動ペアの2次元プロットで可視化されたように、類似性や対称性といった意味的関係を的確に捉えた行動埋め込みを学習した。
• 行動履歴埋め込みを状態表現に統合することで、順序的意思決定を要するタスクにおいて、ポリシー性能が向上した。
• 行動埋め込みにより、埋め込み空間における行動間の構造的関係を活用することで、Q値関数の近似がより正確になり、近似誤差が低減した。
• クラスタベースの探索戦略により、既知の部分最適な行動に近い行動の探索が排除され、大規模な行動空間環境における重複探索が顕著に低減された。
• StarCraft IIのドメインでは、RLエージェントが学習に苦労する中で、人間のリプレイから、ユニットコマンドなどの意味的で直感的な行動関係をAct2Vecが捉えた。
• 実騴結果から、正方形の描画および高次元ナビゲーションタスクにおいて測定可能なパフォーマンス向上が確認され、本フレームワークのドメイン間一般化能力が示された。