[論文レビュー] Automatic Parameter Optimization Using Genetic Algorithm in Deep Reinforcement Learning for Robotic Manipulation Tasks

Adarsh Sehgal, Nick Ward+2 more|arXiv (Cornell University)|Apr 7, 2022

Reinforcement Learning in Robotics被引用数 9

ひとこと要約

本論文は、ロボット操作タスクにおける深層決定的方策勾配（DDPG）＋後向き経験再生（HER）のハイパーパrameter最適化フレームワークとして、新規の遺伝的アルゴリズム（GA）ベースの手法を提案する。学習率、探索ノイズ、ターゲットネットワーク更新レートといった重要なハイパーパrameterを自動で最適化することで、GA+DDPG+HER手法は学習時間を最大57％短縮し、6つのシミュレーテッドおよび1つの実世界のロボットタスクにおいて、すべての比較対象手法を上回る高いサンプル効率を達成した。

ABSTRACT

Learning agents can make use of Reinforcement Learning (RL) to decide their actions by using a reward function. However, the learning process is greatly influenced by the elect of values of the hyperparameters used in the learning algorithm. This work proposed a Deep Deterministic Policy Gradient (DDPG) and Hindsight Experience Replay (HER) based method, which makes use of the Genetic Algorithm (GA) to fine-tune the hyperparameters' values. This method (GA+DDPG+HER) experimented on six robotic manipulation tasks: FetchReach; FetchSlide; FetchPush; FetchPickAndPlace; DoorOpening; and AuboReach. Analysis of these results demonstrated a significant increase in performance and a decrease in learning time. Also, we compare and provide evidence that GA+DDPG+HER is better than the existing methods.

研究の動機と目的

• ロボット操作における深層強化学習（DRL）のハイパーパrameter感度という重要な課題に取り組むこと。これは、最適でない設定が学習を著しく遅くするためである。
• 手動またはヒューリスティックなチューニングに依存しない、自動的かつ再利用可能なハイパーパrameterチューニング手法を開発すること。
• 遺伝的アルゴリズム（GA）が、多様なロボットタスクにおけるDDPG+HERのハイパーパrameter最適化に有効であるかを評価すること。
• GA+DDPG+HERを既存の手法と比較し、シミュレーテッドおよび実世界の両環境で一貫した性能向上を示すこと。
• オープンソースコードを提供し、標準的なOpenAI Gym環境および独自に構築したAubo-i5ロボット操作タスクを用いて、手法の妥当性を検証すること。

提案手法

• ハイパーパramータ空間の探索に遺伝的アルゴリズム（GA）を用い、各解をバイナリ符号化されたハイパーパラメータを有する染色体として表現する。
• GAは親選択にランク選択法、後代生成に一様交叉、多様性の維持にフラップ変異を用いる。
• 各染色体の適応度は、タスク上でDDPG+HERエージェントを訓練し、85％の成功率に到達するまでのエポック数を測定することで評価される。
• アルゴリズムは世代を重ねて集団を進化させ、学習時間を最小化するハイパーパラメータセットを優遇する。
• 最適化対象のハイパーパラメータには、割引率（γ）、ポリャック平均化係数（τ）、エージェントとクライアントの学習率、探索レート（ϵ）、アクションノイズの標準偏差（η）が含まれる。
• 本手法は、6つのシミュレーテッド環境（FetchReach、FetchSlideなど）および1つの実世界のAubo-i5ロボット環境でテストされ、10回の訓練ランで性能が測定された。

実験結果

リサーチクエスチョン

• RQ1 遺伝的アルゴリズムは、ロボット操作タスクにおけるDDPG+HERのハイパーパラメータ最適化に、学習を加速させるために効果的か？
• RQ2 GA+DDPG+HERは、ベースラインのハイパーパラメータ設定や他の最適化手法と比較して、学習速度および性能において優れているか？
• RQ3 自動ハイパーパラメータチューニングによって、目標の成功率に到達するための訓練エポック数はどの程度削減されるか？
• RQ4 最適化されたハイパーパラメータセットは、シミュレーテッドおよび実世界の両環境を含む多様なロボット操作タスクに一般化可能か？
• RQ5 GAベースのチューニングプロセスは、将来のDRLトレーニングセッションにおいて再利用可能で計算的に効率的か？

主な発見

• GA+DDPG+HER手法は、デフォルトのハイパーパラメータと比較して、85％の成功率に到達するための訓練エポック数を最大57％削減した。
• 本手法は、FetchReach-v1環境において他の4つのアプローチを一貫して上回り、優れたサンプル効率と高速な収束性を示した。
• エージェントの成功率はハイパーパラメータの値に極めて敏感であり、特にポリャック平均化係数τが顕著な非線形な性能変化を示した。
• 最適化されたハイパーパラメータを用いたHindsight Experience Replay（HER）は、スパarsな報酬環境でも効果的な学習を可能にし、報酬形状化手法を大幅に上回った。
• GAで最適化されたハイパーパラメータは、6つのシミュレーテッドロボットタスクおよびAubo-i5ロボットを用いた実世界のロボット操作タスクにおいても、容易に移植可能で効果的であった。
• 本手法は、GAで最適化されたハイパーパラメータを用いた10回の独立した訓練ランにおいて一貫した性能と安定性を示した。