[論文レビュー] CAQL: Continuous Action Q-Learning

Moonkyung Ryu, Yinlam Chow+3 more|arXiv (Cornell University)|Apr 30, 2020

Reinforcement Learning in Robotics参考文献 48被引用数 11

ひとこと要約

CAQL は、混合整数プログラミング（MIP）を用いて最大Q問題を最適に解く、連続的アクションQ学習の新規手法を提案する。これにより、CEM や GA などの近似ベース手法よりも優れた、より強固な方策が得られる。動的許容誤差、デュアルフィルタリング、クラスタリング、方策推論のためのアクション関数を用いた最適化と高速化技術を組み合わせることで、制約が厳しい連続的制御環境において最先端の性能を達成する。

ABSTRACT

Reinforcement learning (RL) with value-based methods (e.g., Q-learning) has shown success in a variety of domains such as games and recommender systems (RSs). When the action space is finite, these algorithms implicitly finds a policy by learning the optimal value function, which are often very efficient. However, one major challenge of extending Q-learning to tackle continuous-action RL problems is that obtaining optimal Bellman backup requires solving a continuous action-maximization (max-Q) problem. While it is common to restrict the parameterization of the Q-function to be concave in actions to simplify the max-Q problem, such a restriction might lead to performance degradation. Alternatively, when the Q-function is parameterized with a generic feed-forward neural network (NN), the max-Q problem can be NP-hard. In this work, we propose the CAQL method which minimizes the Bellman residual using Q-learning with one of several plug-and-play action optimizers. In particular, leveraging the strides of optimization theories in deep NN, we show that max-Q problem can be solved optimally with mixed-integer programming (MIP)---when the Q-function has sufficient representation power, this MIP-based optimization induces better policies and is more robust than counterparts, e.g., CEM or GA, that approximate the max-Q solution. To speed up training of CAQL, we develop three techniques, namely (i) dynamic tolerance, (ii) dual filtering, and (iii) clustering. To speed up inference of CAQL, we introduce the action function that concurrently learns the optimal policy. To demonstrate the efficiency of CAQL we compare it with state-of-the-art RL algorithms on benchmark continuous control problems that have different degrees of action constraints and show that CAQL significantly outperforms policy-based methods in heavily constrained environments.

研究の動機と目的

• 連続的アクション空間における価値ベース強化学習の連続的アクション最大化（max-Q）問題を解く挑戦に応えること。
• 一般のニューラルネットワークパラメータ化における凹関数パラメータ化の限界とNP困難性を克服すること。
• 連続的制御タスクにおける方策性能と一般化を向上させる、強固で最適なmax-Q手法を開発すること。
• 新しい最適化およびアルゴリズム的技術を用いて、連続的アクションQ学習における訓練および推論の高速化を図ること。
• 提案手法が制約が厳しい連続的制御ベンチマークで優れた性能を示すことを実証すること。

提案手法

• CAQL は、深層ニューラルネットワークの表現力を利用しつつ、max-Q問題を混合整数計画問題（MIP）として定式化し、最適に解く。
• ベルマン残差を最小化するためのMIPベース最適化を用い、Q学習の更新時に最適なアクション選択を保証する。
• 動的許容誤差を導入し、許容誤差範囲内の近似解を許容することで、MIPの解法時間を削減する。
• 類似した状態をフィルタリングおよびグループ化することで、訓練中のMIP解法回数を削減するためのデュアルフィルタリングおよびクラスタリング技術を適用する。
• Qネットワークと同時に学習するアクション関数を導入し、デプロイ時におけるMIP再解法の必要性を排除して高速推論を実現する。
• 本手法はプラグアンドプレイであり、任意のQ関数アーキテクチャと互換性があり、既存の強化学習フレームワークに統合可能である。

実験結果

リサーチクエスチョン

• RQ1 MIPベース最適化は、CEM や GA などのヒューリスティック近似手法よりも、連続的アクション強化学習におけるmax-Q問題をより正確かつ強固に解けるか？
• RQ2 MIPをmax-Qに用いることで、複雑なアクション制約を伴う連続的制御タスクにおいて、より優れた方策性能が得られるか？
• RQ3 アルゴリズム的高速化を用いることで、MIPベース最適化が深層強化学習における実用的訓練に十分な効率性を持つようになるか？
• RQ4 制約が厳しい環境において、CAQL は最先端のポリシーベース手法と比較してどのように性能を発揮するか？
• RQ5 方策品質を損なわず、オンラインMIP解法を回避できるように、アクション関数を効果的に学習できるか？

主な発見

• CAQL は、制約が厳しい連続的制御環境において、ポリシーベース手法を著しく上回り、優れたサンプル効率と最終的な性能を示した。
• MIPをmax-Qに用いることで、近似に依存するCEM や GA よりも、より強固で質の高い方策が得られた。
• 動的許容誤差、デュアルフィルタリング、クラスタリングにより、重複するMIP解法を最小限に抑えつつ、訓練時間を短縮したが、方策の品質に悪影響を及げなかった。
• 学習済みのアクション関数により、推論が高速化され、デプロイ時におけるオンラインMIP解法の必要性がなくなり、実用的になった。
• 特にアクション制約が厳しい環境において、CAQL はベンチマークタスクで最先端の性能を達成した。
• 本手法は、多様なアクション制約レベルにわたり強力な性能を維持しており、一般化性と強健性を実証した。