[論文レビュー] Reinforcement Learning with Parameterized Actions

Warwick Masson, Pravesh Ranchod+1 more|arXiv (Cornell University)|Sep 5, 2015

Reinforcement Learning in Robotics参考文献 16被引用数 62

ひとこと要約

本稿では、離散的アクションに連続的パラメータを追加したパラメトリックアクションを伴うマルコフ決定過程（PAMDP）を対象とした、モデルフリーな強化学習アルゴリズム Q-PAMDP を提案する。この手法は、アクション選択とパラメータ選択のポリシーを交互に学習し、局所最適解への収束を示し、直接的ポリシー探索法や固定パラメータの SARSA よりも、ゴールスコアリングおよびプラットフォーム領域で優れた性能を発揮する。

ABSTRACT

We introduce a model-free algorithm for learning in Markov decision processes with parameterized actions-discrete actions with continuous parameters. At each step the agent must select both which action to use and which parameters to use with that action. We introduce the Q-PAMDP algorithm for learning in these domains, show that it converges to a local optimum, and compare it to direct policy search in the goal-scoring and Platform domains.

研究の動機と目的

• 標準的な強化学習が、離散的選択と連続的パrameter化を併せ持つアクションを効果的に処理できないという限界を解決すること。
• 異なるアクション（例：キック、パス、走行）が個別に連続的パラメータ化を持つ、柔軟で構造的なアクション空間を可能にすること。
• モデルを必要とせず、アクション選択とパラメータ値の両方を同時に最適化する学習アルゴリズムの開発。
• 適切な更新ルールのもとで局所最適解への収束を保証すること。
• ロボットナビゲーションやボールキックタスクなど、微細なアクション制御を要するドメインにおいて、実験的に手法の有効性を評価すること。

提案手法

• アクションを（離散的アクション、連続的パラメータ）のタプルとして表すパラメトリックアクション MDP（PAMDP）として問題を定式化する。
• Q-PAMDP を提案する。これは、離散的アクションのポリシー学習と、各アクションに対するパラメータ最適化を交互に繰り返す二段階のアルゴリズムである。
• Q-学習風の更新をアクション価値関数に適用し、各離散的アクションに対して個別の関数近似器を用いる。
• P-UPDATE を用いて勾配ベース最適化によりパラメータポリシーを改善し、局所収束を実現する。
• 2つの変種を実装する：Q-PAMDP(1) は各エピソード後にパラメータを更新し、Q-PAMDP(∞) はパラメータ全体に対してグローバル最適化を実行する。
• 性能とロバストネスの評価のため、直接的ポリシー探索（eNAC）および固定パラメータの SARSA と比較する。

実験結果

リサーチクエスチョン

• RQ1 モデルフリーなアルゴリズムは、離散的だが連続的パラメータを必要とするアクションを伴う MDP において、効果的にポリシーを学習できるか？
• RQ2 アクション選択とパラメータ最適化を交互に実行することで、局所最適解への収束が達成されるか？
• RQ3 Q-PAMDP は、直接的ポリシー探索法や固定パラメータの SARSA と比較して、サンプル効率および最終的な性能において優れているか？
• RQ4 どのような環境において Q-PAMDP(1) が Q-PAMDP(∞) よりも優れているのか、逆に Q-PAMDP(∞) が優れているのか？
• RQ5 完全に連続的なアクション空間よりも、パラメトリックアクションは不連続的または構造的に異なる行動をよりよく表現できるか？

主な発見

• Q-PAMDP(1) と Q-PAMDP(∞) は、適切な更新ルールのもとで両者とも局所最適解に収束し、理論的裏付けが与えられている。
• ゴールスコアリング領域では、Q-PAMDP(1) と Q-PAMDP(∞) が約 35% のゴールスコアリング成功率を達成し、eNAC（10%）および固定パラメータの SARSA（40%）を顕著に上回った。
• プラットフォーム領域では、Q-PAMDP(∞) が Q-PAMDP(1) を上回った。これは、Q-PAMDP(∞) が、アクション価値関数に急激な変化がある環境に適していることを示唆している。
• Q-PAMDP(1) は、小さなパラメータ変更に対しても価値関数に大きな不連続な変化がある環境で苦戦した。これは、非滑らかなダイナミクスに対して感受性が高いことを示している。
• 複雑なパラメータ化を必要とせず、不連続なポリシーを効果的に扱い、アクション間の構造的差異を保持したままである。
• 実験結果から、パラメトリックアクションは、連続的アクション空間のみに依存する場合よりも、異なる行動（例：キック vs. パス）をより良い形で表現できることを確認した。