[論文レビュー] Hierarchical Learning for Modular Robots

Risto Kojcev, Nora Etxezarreta+2 more|arXiv (Cornell University)|Feb 12, 2018

Modular Robots and Swarm Intelligence参考文献 10被引用数 4

ひとこと要約

本論文は、メタラーニング共有階層（MLSH）を用いた階層的深層強化学習アプローチを提案し、複数の構成（3DoFおよび4DoF）とタスク（目的位置への到達）にわたる学習と一般化を可能にする。この手法は、タスク固有のサブポリシー（モータープリミティブ）を選択するマスターポリシーを訓練することで、最小限の再訓練でシミュレーションおよび実世界の実験において正確な目的位置到達を達成する。

ABSTRACT

We argue that hierarchical methods can become the key for modular robots achieving reconfigurability. We present a hierarchical approach for modular robots that allows a robot to simultaneously learn multiple tasks. Our evaluation results present an environment composed of two different modular robot configurations, namely 3 degrees-of-freedom (DoF) and 4DoF with two corresponding targets. During the training, we switch between configurations and targets aiming to evaluate the possibility of training a neural network that is able to select appropriate motor primitives and robot configuration to achieve the target. The trained neural network is then transferred and executed on a real robot with 3DoF and 4DoF configurations. We demonstrate how this technique generalizes to robots with different configurations and tasks.

研究の動機と目的

• 階層的強化学習を用いて、モジュラーロボットが複数の構成とタスクにわたって学習および一般化することを可能にする。
• 共有ポリシー構造が、新しいロボット構成および目的位置への迅速な適応を可能にするかどうかを評価する。
• 学習されたサブポリシー（モータープリミティブ）が、異なるDoFおよび目的目標にわたっても転送可能であるかどうかを検証する。
• 物理的モジュラーロボット上で階層的手法の実世界適用可能性を実証する。
• マスターポリシーが、同じ構成-目的ペアに対して一貫して同じサブポリシーの順序を選択するかどうかを調査し、学習されたモータープリミティブを示す。

提案手法

• 本手法は、メタラーニング共有階層（MLSH）を採用し、タスク間で共有されるポリシー変数φを最適化し、タスク固有のパラメータθを用いてサブポリシーを選択する。
• トレーニングは2段階で進行する：サブポリシーを固定したままマスターポリシーを更新するウォームアップ段階、その後に両方のパラメータθとφを同時に最適化する共同更新段階。
• 階層的ポリシー構造では、5タイムステップ継続のマクロアクション（オプション）を用い、2つの構成×2つの目的位置に対して4つのサブポリシーを訓練する。
• ステートに応じてマスターポリシーがサブポリシーのうちどれを選択するかを決定する確率的ポリシーπφ,θ(a|s)を用いる。
• 本手法は、タスク間で共有されるモータープリミティブを活用することで、未観測の構成および目的位置への迅速な適応を可能にする。
• ネットワークはまずシミュレーションでトレーニングされ、その後3DoFおよび4DoFの構成を持つ実際のScara型モジュラーロボットにデプロイされる。

実験結果

リサーチクエスチョン

• RQ1 共有ポリシー・パラメータを用いた階層的強化学習手法は、異なるモジュラーロボット構成（3DoFおよび4DoF）にわたって一般化可能か？
• RQ2 同じ構成および目的に対して、マスターポリシーが一貫して同じサブポリシーの順序を選択するか？これは、学習されたモータープリミティブを示唆する。
• RQ3 トレーニングされたネットワークは、シミュレーションおよび実世界実行においてどの程度正確な目的位置到達を達成するか？
• RQ4 異なるロボット形状にわたって、シミュレーションから実ハードウェアへの転送性はどの程度高いか？
• RQ5 共有ポリシー構造は、再トレーニングなしに新しいタスクへの迅速な適応を可能にするか？

主な発見

• トレーニングされたMLSHネットワークは、3DoFおよび4DoFの実ロボット構成において、目的位置に到達に成功し、平均誤差はそれぞれOの中心で31.06 mm、Hの中心で60.36 mmであった。
• シミュレーションでは、3DoFでは2×10⁻⁷ mm未満、4DoFでは3.49×10⁻¹⁵ mm未満の標準偏差を示し、高い安定性を示した。
• マスターポリシーは、各構成-目的ペアに対して一貫して同じサブポリシーの順序を選択しており、サブポリシーが一般化されたモータープリミティブを表しているという仮説を支持した。
• 本手法は、シミュレーションから実ハードウェアへの有効な転送性を示し、実ロボットの性能がシミュレーション結果とよく一致した。
• 4DoF構成では、3DoFに比べて誤差が高かった（Oで37.02 mm、Hで48.82 mm）、これは複雑性の増加および機械的差異によるものと推測される。
• 最後の10個のエンドエフェクタ位置の標準偏差は±0.15 mm以下であり、収束後の安定的かつ再現可能な軌道を示した。