[論文レビュー] Continuous-Discrete Reinforcement Learning for Hybrid Control in Robotics

Michael Neunert, Abbas Abdolmaleki+8 more|arXiv (Cornell University)|Jan 2, 2020

Reinforcement Learning in Robotics参考文献 27被引用数 27

ひとこと要約

本論文では、ロボット制御における混合連続・離散的アクション空間をネイティブに扱えるデータ効率の良い強化学習アルゴリズム、Hybrid MPOを提案する。離散的「メタアクション」（例：アクションの繰り返しやアテンション選択）と連続的アクションを同時に最適化することで、エキスパートが設計したヒューリスティクスや近似に依存せずに、より良い探索、機械的摩耗の低減、性能の向上を実現する。

ABSTRACT

Many real-world control problems involve both discrete decision variables - such as the choice of control modes, gear switching or digital outputs - as well as continuous decision variables - such as velocity setpoints, control gains or analogue outputs. However, when defining the corresponding optimal control or reinforcement learning problem, it is commonly approximated with fully continuous or fully discrete action spaces. These simplifications aim at tailoring the problem to a particular algorithm or solver which may only support one type of action space. Alternatively, expert heuristics are used to remove discrete actions from an otherwise continuous space. In contrast, we propose to treat hybrid problems in their 'native' form by solving them with hybrid reinforcement learning, which optimizes for discrete and continuous actions simultaneously. In our experiments, we first demonstrate that the proposed approach efficiently solves such natively hybrid reinforcement learning problems. We then show, both in simulation and on robotic hardware, the benefits of removing possibly imperfect expert-designed heuristics. Lastly, hybrid reinforcement learning encourages us to rethink problem definitions. We propose reformulating control problems, e.g. by adding meta actions, to improve exploration or reduce mechanical wear and tear.

研究の動機と目的

• 既存の強化学習アルゴリズムがハイブリッド制御問題を扱う際、離散的アクションを連続的と近似する、あるいは逆に連続的アクションを離散的と近似するという制限を解消すること。
• 離散的制御変数のためのエキスパート設計ヒューリスティクスに依存しないことにより、真の制御問題の構造を歪めないようすること。
• 連続的および離散的アクションの両方に対するネイティブな最適化を可能にし、問題の構造を保ちながら学習効率を向上させること。
• 探索や機械的摩耗といった一般的な強化学習の課題を解決するため、離散的メタアクションを用いて制御問題を再定式化すること。
• シミュレーションおよび実世界のロボットハードウェアにおいて、Furutaの振り子やControl Suite環境を含む複雑なタスクにおいて、ハイブリッド強化学習の有効性を実証すること。

提案手法

• 連続的および離散的アクションを1つのポリシー勾配フレームワーク内で同時に最適化する、モデルフリーでデータ効率の良い強化学習アルゴリズムであるHybrid MPOを提案する。
• 「直前のアクションを繰り返す」や「次のアクチュエータを選択する」などの離散的メタアクションを導入し、可変制御レートと階層的制御戦略を可能にする。
• 微分可能なソフトマックスまたはアーグマックス操作を用いて離散的アクションを選択しつつ、ポリシー・ネットワークの勾配伝播を維持する。
• 非階層的ハイブリッド問題および階層的PAMDP（パラメータ化されたアクション空間MDP）の両方に本手法を適用し、広範な適用可能性を示す。
• アクションの繰り返しを離散的アクションとして統合し、探索行動と制御周波数を分離することで、機械的ストレスを低減する。
• 制御能力が限定された状況を模倣する「アクションアテンション」設定に本手法を拡張し、1回に1つのアクチュエータのみを制御する。

実験結果

リサーチクエスチョン

• RQ1 1つの強化学習アルゴリズムが、ハイブリッド制御問題において連続的および離散的アクションを同時に効果的に最適化できるか？
• RQ2 アクションの繰り返しなどの離散的メタアクションを用いることで、学習性能を劣化させることなく、探索性の向上と機械的摩耗の低減が達成できるか？
• RQ3 連続的アクションの離散化やエキスパートヒューリスティクスの使用といった近似手法と比較して、ネイティブなハイブリッド強化学習は、データの有効性と最終的な性能において優れているか？
• RQ4 アクションアテンションや可変レート制御といった、制御品質やシステムの耐久性を向上させる新しい問題定式化を、ハイブリッド強化学習が可能にするか？
• RQ5 スパarselyリワードな環境や高次元のアクション空間を有する環境において、ハイブリッド強化学習は学習をどの程度改善するか？

主な発見

• Hybrid MPOは、Furutaの振り子やControl Suiteタスクを含む、シミュレーションおよび実機ロボットハードウェアにおいて、離散的アクションを近似せずにハイブリッド制御問題を効果的に解消した。
• 「実行または繰り返し」の離散的アクションを導入することで、可変制御レートを実現し、より滑らかな軌道と機械的摩耗の低減が達成された。
• 高次元のControl Suite環境においても、アクションの繰り返しは学習速度や最終的な性能を劣化させず、探索と制御周波数を分離する実用的な手段を提供した。
• 「アクションアテンション」設定では、1回に1つのアクチュエータのみを制御するが、スイマーのタスクでは波状の運動、ウォーカーのタスクでは「しゃがみ」歩行といった効果的な代替戦略が学習された。
• 特に離散的アクションが問題構造において不可欠な場合、連続的ポリシーに基づくハイブリッドアルゴリズムよりも本手法が優れた性能を示した。
• エキスパート設計ヒューリスティクスを排除することで、ネイティブなハイブリッド強化学習が、摩耗に弱い機械的システムにおいて、より優れた解法とより頑健な制御ポリシーを導く可能性を明らかにした。