[論文レビュー] Transform2Act: Learning a Transform-and-Control Policy for Efficient Agent Design

Ye Yuan, Yuda Song+3 more|arXiv (Cornell University)|Oct 7, 2021

Reinforcement Learning in Robotics参考文献 30被引用数 5

ひとこと要約

Transform2Actは、グラフニューラルネットワーク（GNN）とジョイント特化型マルチレイヤーパーセプトロン（JSMLPs）を用いて、変換・制御ポリシーを学習することで、ロボットエージェントの設計と制御を同時に最適化する微分可能でポリシー勾配に基づく手法を提案する。このアプローチにより、可変設計空間にわたる経験共有が可能になり、サンプル効率が向上し、キリン、イカ、クモなどの生物学的に妥当なエージェントが発見される。従来の進化的戦略（ES）と比較して、収束速度と最終的パフォーマンスが1桁向上する。

ABSTRACT

An agent's functionality is largely determined by its design, i.e., skeletal structure and joint attributes (e.g., length, size, strength). However, finding the optimal agent design for a given function is extremely challenging since the problem is inherently combinatorial and the design space is prohibitively large. Additionally, it can be costly to evaluate each candidate design which requires solving for its optimal controller. To tackle these problems, our key idea is to incorporate the design procedure of an agent into its decision-making process. Specifically, we learn a conditional policy that, in an episode, first applies a sequence of transform actions to modify an agent's skeletal structure and joint attributes, and then applies control actions under the new design. To handle a variable number of joints across designs, we use a graph-based policy where each graph node represents a joint and uses message passing with its neighbors to output joint-specific actions. Using policy gradient methods, our approach enables joint optimization of agent design and control as well as experience sharing across different designs, which improves sample efficiency substantially. Experiments show that our approach, Transform2Act, outperforms prior methods significantly in terms of convergence speed and final performance. Notably, Transform2Act can automatically discover plausible designs similar to giraffes, squids, and spiders. Code and videos are available at https://sites.google.com/view/transform2act.

研究の動機と目的

• ロボットシミュレーションにおける組み合わせ的かつ高次元のエージェント設計空間の課題に対処すること。
• 設計間で経験を共有しない進化的戦略（ES）のサンプル非効率性を克服すること。
• 骨格構造とジョイント属性（例：長さ、強度）の共同最適化と制御ポリシー学習を可能にすること。
• 設計におけるジョイント数の可変性を扱える汎用的で条件付きのポリシーを開発すること。
• エンドツーエンド学習により、生物学的に妥当なエージェント形態（例：キリン型、イカ型）を発見すること。

提案手法

• エージェント設計を条件付きポリシー学習問題として定式化し、各エピソードを変換段階と実行段階に分割する。
• エージェントをグラフニューラルネットワーク（GNN）で表現し、各ノードをジョイントに対応させ、メッセージパッシングによりジョイント固有の行動出力を得る。
• GNNによる一般化を保ちつつ、各ジョイントの特化を可能にするジョイント特化型マルチレイヤーパーセプトロン（JSMLPs）を導入する。
• ポリシー勾配法を用いて変換行動と制御行動を同時に最適化し、多様な設計間での経験共有を可能にする。
• 現在の設計状態に条件づけられたポリシーを採用することで、変換段階中に骨格構造とジョイント属性を動的に変更可能にする。
• リプレイバッファを用いたオフポリシー学習により、設計間でのサンプル効率を向上させ、学習の安定性を高める。

実験結果

リサーチクエスチョン

• RQ1 ランダムな突然変異に基づく進化的戦略と比較して、1つのポリシーがエンドツーエンドで設計と制御をより効率的に学習できるか。
• RQ2 GNNとJSMLPsは、エージェント設計における一般化と特化にどの程度寄与するか。
• RQ3 事前バイアスなしで、生物学的に妥当なエージェント形態（例：キリン型、クモ型）を発見できるか。
• RQ4 設計間での経験共有は、集団ベースのES手法と比較して、どの程度サンプル効率を向上させるか。
• RQ5 設計と制御の共同最適化は、分離最適化アプローチと比較して、収束速度と最終パフォーマンスが向上するか。

主な発見

• Transform2Actは、4つの環境において、NgeのようなESベースのベースラインと比較して、収束速度と最終パフォーマンスが1桁向上する。
• 本手法は、2Dロケーションで高速で安定したキリン型エージェントや、触手推進を有するイカ型スイマーなど、妥当で生物学的インスピレーションを受けて設計されたエージェントを発見する。
• アブレーションスタディの結果、GNNやJSMLPsを除去すると性能と安定性が著しく低下し、特にJSMLPsの欠如により設計の対称性が低下し、性能のばらつきが増加する。
• JSMLPsを用いない設計は過度に対称的であり、ジョイントごとの特化が欠如しており、特にスイマーと3Dロケーションでは性能が劣る。
• GNNの使用により、異なるジョイント構成間での効果的な経験共有が可能になり、一般化性能とサンプル効率が向上する。
• 連続的設計最適化においても、Transform2Actは連続的チューニング手法（Ha, 2019）のベースラインを上回り、熟練者設計エージェントの最適化においても有効性を示す。