[論文レビュー] Q-Networks for Binary Vector Actions

Naoto Yoshida|arXiv (Cornell University)|Dec 4, 2015

Reinforcement Learning in Robotics参考文献 8被引用数 3

ひとこと要約

本稿では、行動価値関数を二値ベクタ行動の線形関数としてモデル化するQネットワークアーキテクチャを提案する。これにより、大規模な離散的行動空間における効率的なグリーディおよびソフトマックス行動選択が可能になる。状態に依存するスカラーとベクトルを出力するネットワーク構造により、モンテカルロサンプルを用いずに取り扱えるQ学習が可能となり、二値符号化された行動を用いたグリッドワールドおよびブロッカー課題において有効性が示された。

ABSTRACT

In this paper reinforcement learning with binary vector actions was investigated. We suggest an effective architecture of the neural networks for approximating an action-value function with binary vector actions. The proposed architecture approximates the action-value function by a linear function with respect to the action vector, but is still non-linear with respect to the state input. We show that this approximation method enables the efficient calculation of greedy action selection and softmax action selection. Using this architecture, we suggest an online algorithm based on Q-learning. The empirical results in the grid world and the blocker task suggest that our approximation architecture would be effective for the RL problems with large discrete action sets.

研究の動機と目的

• 二値ベクタ長の増加に伴い指数関数的に増加する行動数を有する大規模な離散的行動空間へのQ学習の適用という課題に対処すること。
• 標準の関数近似器における非線形性のため、このような設定においてグリーディ行動選択と正確なQ学習が非効率的になるという問題を克服すること。
• サンプリングを用いず、正確かつ効率的なグリーディおよびソフトマックス行動選択を可能にするニューラルネットワークアーキテクチャの開発。
• モンテカルロ手法を用いずに、大規模な離散的行動領域における関数近似を用いたオフポリシーQ学習を、取り扱えるアプローチで実現すること。

提案手法

• 行動価値関数を $ Q_{\theta}(s,a) = \Psi_{\theta}(s) + a^\top \phi_{\theta}(s) $ としてモデル化するQネットワークアーキテクチャを提案し、二値行動ベクトル $ a $ に対して線形となるように設計する。
• 多層パーセプトロン（MLP）を用いて $ \Psi_{\theta}(s) $ と $ \phi_{\theta}(s) $ を計算し、後者は状態に依存するベクトルとなるようにする。
• すべての行動を全列挙するのを避けるために、$ \arg\max_a Q_{\theta}(s,a) = \arg\max_i \phi^i_{\theta}(s) $ を計算することで、効率的なグリーディ行動選択を実現する。
• 同じ線形構造を用いることで、ソフトマックス行動選択をサポートし、微分可能なポリシー最適化を可能にする。
• 標準のQ学習TD誤差を用いて、確率的勾配降下法によりネットワークパラメータを更新する：$ \Delta\theta = (r + \gamma \max_{\hat{a}} Q_{\theta}(s^\prime,\hat{a}) - Q_{\theta}(s,a)) \frac{\partial Q_{\theta}(s,a)}{\partial\theta} $。
• Gibbsサンプリングやその他の近似手法を必要とせず、オンラインQ学習アルゴリズムにこのアーキテクチャを適用する。

実験結果

リサーチクエスチョン

• RQ1 線形行動関数近似は、二値ベクタ行動を有する大規模な離散的行動空間において、正確かつ効率的なグリーディ行動選択を可能にするか？
• RQ2 モンテカルロサンプルを用いずに、グリーディおよびソフトマックス行動選択を両立できるQネットワークアーキテクチャを設計可能か？
• RQ3 このアーキテクチャを用いて、モンテカルロ近似を避ける非効率な最適化ステップを回避しながら、オフポリシーQ学習を大規模な離散的行動空間に効果的に適用可能か？
• RQ4 提案手法は、標準的なQ学習およびエネルギーベースアプローチと比較して、大規模な行動空間環境におけるサンプル効率および収束性において優れているか？

主な発見

• 提案されたアーキテクチャにより、$ \arg\max_i \phi^i_{\theta}(s) $ を用いた正確なグリーディ行動選択が可能となり、すべての二値行動を列挙する指数的コストを回避できる。
• 同じ線形構造を用いることで、効率的なソフトマックス行動選択が可能となり、微分可能なポリシー学習が実現できる。
• グリッドワールド環境では、提案されたQネットワークを用いることで安定した学習が達成され、近似的に最適な性能に到達した。
• 64の離散的行動（12ビットの二値行動）を持つブロッカー課題では、エージェントが協調して得点を獲得するよう学習し、エージェント単位の $ \epsilon $-グリーディ探索が標準の $ \epsilon $-グリーディ探索を上回った。
• エージェント単位の $ \epsilon $-グリーディポリシーは、局所最適解からの脱出を助け、マルチエージェント協調においてより優れたロバストネスを示した。
• 実験的結果から、本手法がモンテカルロ近似を用いずに、大規模な離散的行動空間における取り扱えるオフポリシーQ学習を可能にすることが確認された。