[論文レビュー] Reinforcement Learning in Large Discrete Action Spaces.

Gabriel Dulac-Arnold, Richard Evans+2 more|arXiv (Cornell University)|Dec 24, 2015

Reinforcement Learning in Robotics参考文献 17被引用数 287

ひとこと要約

本稿では、行動を連続的空間に埋め込み、近似最近傍探索を用いて効率的な行動選択を実現する強化学習手法を提案する。この手法により、行動選択の計算量が線形未満に抑えられ、行動間の一般化が可能となり、従来の手法が失敗する100万個の行動を含むタスクへもスケーリング可能となる。

ABSTRACT

Being able to reason in an environment with a large number of discrete actions is essential to bringing reinforcement learning to a larger class of problems. Recommender systems, industrial plants and language models are only some of the many real-world tasks involving large numbers of discrete actions for which current methods are difficult or even often impossible to apply. An ability to generalize over the set of actions as well as sub-linear complexity relative to the size of the set are both necessary to handle such tasks. Current approaches are not able to provide both of these, which motivates the work in this paper. Our proposed approach leverages prior information about the actions to embed them in a continuous space upon which it can generalize. Additionally, approximate nearest-neighbor methods allow for logarithmic-time lookup complexity relative to the number of actions, which is necessary for time-wise tractable training. This combined approach allows reinforcement learning methods to be applied to large-scale learning problems previously intractable with current methods. We demonstrate our algorithm’s abilities on a series of tasks having up to one million actions.

研究の動機と目的

• 推薦システムや言語モデルのような、極めて大きな離散的行動空間を有する環境への強化学習の適用という課題に取り組む。
• 行動集合のサイズに伴い性能が著しく低下する既存手法の限界を克服し、行動間の一般化を可能にする。
• 行動数に比例する対数時間オーダーの行動照会時間の達成により、効率的かつスケーラブルな学習を実現する。
• 行動に関する事前知識を活用し、意味的・構造的な類似性を反映した連続的表現を生成することで、一般化を促進する。
• 100万個の行動を含む大規模タスクにおいて、実現可能性と性能を実証する。

提案手法

• 行動の構造的・意味的特徴に関する事前知識を用いて、離散的行動を連続的ベクトル空間に埋め込む。
• 個々の行動ではなく、連続的行動埋め込み空間上で一般化する強化学習エージェントを訓練する。
• 推論時に最も有望な行動を効率的に取得するために、近似最近傍（ANN）探索を用いる。
• 行動照会の計算量を、行動数に対して対数時間オーダーに抑えることで、数百万個の行動を含む状況でも学習が可能になる。
• 行動埋め込みとANNモジュールを、Q学習や方策勾配法などの標準的なRLフレームワークに統合する。
• エージェントをエンドツーエンドで訓練し、勾配ベースの最適化により方策と行動埋め込み空間を同時に最適化する。

実験結果

リサーチクエスチョン

• RQ1 行動埋め込みと近似最近傍探索を組み合わせることで、大規模な離散的行動空間における効率的強化学習が可能になるか？
• RQ2 個々の行動ごとの学習と比較して、連続的行動埋め込み空間上で学習することで、行動間の一般化はどの程度向上するか？
• RQ3 提案手法の計算複雑度は、行動集合のサイズが増加するに従いどのように変化するか？
• RQ4 本手法は、最大100万個の行動を含む実世界のタスクに適用可能か？また、ベースライン手法と比較してどのように差がつくか？
• RQ5 行動に関する事前知識を行動埋め込みに組み込むことで、サンプル効率と最終的な性能が顕著に向上するか？

主な発見

• 提案手法は、従来の標準的RLアルゴリズムが処理できなかった100万個の離散的行動を含む環境でも、強化学習エージェントの学習に成功した。
• 行動埋め込みの活用により、意味的に類似した行動間での一般化が可能となり、サンプル効率と方策性能が向上した。
• 近似最近傍探索により、行動照会時間は行動数に対して対数時間オーダーに削減され、大規模な学習が現実可能となった。
• 行動埋め込みや効率的探索を用いないベースライン手法と比較して、行動空間が拡大するに従い本手法が顕著に優れた性能を示した。
• 行動埋め込みに事前知識を統合することで、大規模タスクにおける収束速度が向上し、最終的な報酬値も高くなった。
• 標準的RL手法の実用的限界を超えて行動空間が拡大しても、本手法は強固な性能を維持した。