[論文レビュー] HyAR: Addressing Discrete-Continuous Action Reinforcement Learning via Hybrid Action Representation

Boyan Li, Hongyao Tang+6 more|arXiv (Cornell University)|Sep 12, 2021

Reinforcement Learning in Robotics被引用数 10

ひとこと要約

本論文では、条件付きVAEとアクション埋め込みテーブルを用いて、離散的・連続的アクション空間のためのコン pact で分離された潜在空間を学習するハイブリッドアクション表現フレームワーク、HyARを提案する。離散的および連続的成分間の依存関係をモデル化し、非教師付きダイナミクス予測を用いて表現を訓練することで、複雑で高次元のハイブリッドアクション環境における有効な深層強化学習を可能にし、サンプル効率および最終的パフォーマンスの両面で先行手法を上回る。

ABSTRACT

Discrete-continuous hybrid action space is a natural setting in many practical problems, such as robot control and game AI. However, most previous Reinforcement Learning (RL) works only demonstrate the success in controlling with either discrete or continuous action space, while seldom take into account the hybrid action space. One naive way to address hybrid action RL is to convert the hybrid action space into a unified homogeneous action space by discretization or continualization, so that conventional RL algorithms can be applied. However, this ignores the underlying structure of hybrid action space and also induces the scalability issue and additional approximation difficulties, thus leading to degenerated results. In this paper, we propose Hybrid Action Representation (HyAR) to learn a compact and decodable latent representation space for the original hybrid action space. HyAR constructs the latent space and embeds the dependence between discrete action and continuous parameter via an embedding table and conditional Variantional Auto-Encoder (VAE). To further improve the effectiveness, the action representation is trained to be semantically smooth through unsupervised environmental dynamics prediction. Finally, the agent then learns its policy with conventional DRL algorithms in the learned representation space and interacts with the environment by decoding the hybrid action embeddings to the original action space. We evaluate HyAR in a variety of environments with discrete-continuous action space. The results demonstrate the superiority of HyAR when compared with previous baselines, especially for high-dimensional action spaces.

研究の動機と目的

• 既存のRL手法が離散的・連続的ハイブリッドアクション空間を扱う際の限界、特に構造的依存関係を無視するか、スケーラビリティの問題を抱えることへの対処。
• 離散的アクションとその連続的パラメータ間の依存関係を保持する、統一的でコンパクトかつ意味的に滑らかな潜在表現空間の構築。
• 表現学習中に非教師付きダイナミクス予測を活用することで、高次元のハイブリッドアクション空間におけるサンプル効率およびポリシー一般化の向上。
• 従来のDRLアルゴリズムが学習された潜在空間で効果的に動作できるようにし、環境との相互作用のため元のアクション空間にデコードする仕組みの実現。

提案手法

• HyARは、離散的アクションのための埋め込みテーブルと、離散的アクションとその連続的パラメータ間の依存関係をモデル化するための条件付き変分オートエンコーダ（VAE）を用いてハイブリッドアクション表現を構築する。
• 意味的に滑らかな潜在空間を実現するため、環境のダイナミクスを非教師付きで予測することで訓練し、ポリシーの一般化を向上させる。
• 2段階の訓練プロセスを採用：まず、ウォームアップフェーズでデモンストレーションを収集して表現を事前学習し、次に、TD3などの標準的なDRLアルゴリズムを用いて潜在空間でポリシーを訓練する。
• エージェントは、学習された潜在埋め込みを元のハイブリッドアクション空間にデコードして、環境との相互作用に使用する。
• パラメータ化されたアクションMDP（PAMDP）フレームワークに統合することで、構造的および非構造的ハイブリッドアクション空間の両方をサポートする。

実験結果

リサーチクエスチョン

• RQ1 コンパクトで分離された潜在表現は、ハイブリッドアクション空間における離散的アクションとその連続的パラメータの依存関係を効果的にモデル化できるか？
• RQ2 非教師付きダイナミクス予測による意味的に滑らかな表現の学習は、ハイブリッドアクション強化学習におけるサンプル効率およびポリシーパフォーマンスを向上させるか？
• RQ3 PADDPG、HPPO、PDQNといった既存手法と比較して、HyARは高次元のハイブリッドアクションタスクにおけるスケーラビリティおよびパフォーマンスで優れているか？
• RQ4 表現学習の頻度の選択が、HyARにおけるポリシー学習にどの程度影響を与えるか？

主な発見

• HyARは、評価されたすべての環境でベースライン手法（PADDPG、HPPO、PDQN）を上回り、特に高次元のアクション空間において顕著な優位性を示した。
• ポリシー学習中に表現を継続的に更新する「非固定のHyAR」バージョンは、固定表現ベースラインを常に上回り、GoalやHard Goalのような複雑な環境でも優れた性能を発揮した。
• その後の表現更新に適度な頻度（例：10エピソードごと）を設定すると最良のパフォーマンスが得られ、表現の安定性と適応性のバランスが取れた。
• 8つの離散的アクションを有するHard Move環境では、HyARは固定表現ベースラインと比較して著しく高い最終報酬と高速な収束を達成した。
• アブレーションスタディの結果、離散的および連続的成分間の依存関係をモデル化することがパフォーマンスに不可欠であることが確認され、この構造を無視した手法は性能が劣った。