[論文レビュー] TarGF: Learning Target Gradient Field to Rearrange Objects without Explicit Goal Specification

Mingdong Wu, Fangwei Zhong+2 more|arXiv (Cornell University)|Sep 2, 2022

Reinforcement Learning in Robotics被引用数 4

ひとこと要約

本稿では、明示的なゴール指定なしにオブジェクト再配置をガイドするため、例のレイアウトからターゲット勾配場を学習するスコアベース手法TarGFを提案する。ターゲット分布の対数密度の勾配を推定することで、モデルベースの計画および強化学習の両方におけるオブジェクト単位のガイダンスを提供し、ボールと部屋の再配置タスクにおいて、最終状態の質、効率性、スケーラビリティの面でSOTA手法を顕著に上回る性能を発揮する。

ABSTRACT

Object Rearrangement is to move objects from an initial state to a goal state. Here, we focus on a more practical setting in object rearrangement, i.e., rearranging objects from shuffled layouts to a normative target distribution without explicit goal specification. However, it remains challenging for AI agents, as it is hard to describe the target distribution (goal specification) for reward engineering or collect expert trajectories as demonstrations. Hence, it is infeasible to directly employ reinforcement learning or imitation learning algorithms to address the task. This paper aims to search for a policy only with a set of examples from a target distribution instead of a handcrafted reward function. We employ the score-matching objective to train a Target Gradient Field (TarGF), indicating a direction on each object to increase the likelihood of the target distribution. For object rearrangement, the TarGF can be used in two ways: 1) For model-based planning, we can cast the target gradient into a reference control and output actions with a distributed path planner; 2) For model-free reinforcement learning, the TarGF is not only used for estimating the likelihood-change as a reward but also provides suggested actions in residual policy learning. Experimental results in ball and room rearrangement demonstrate that our method significantly outperforms the state-of-the-art methods in the quality of the terminal state, the efficiency of the control process, and scalability.

研究の動機と目的

• 明示的なゴール指定がない環境におけるオブジェクト再配置を解決すること。この場合、ターゲット状態や報酬関数を定義することが困難である。
• 高価な専門家のデモンストレーションを回避するために、例のターゲットレイアウトのセットのみを用いて、効果的な再配置ポリシーを学習可能にする。
• 手動で設計された報酬やゴール条件付きの監視に依存せずに、制御のための運動ガイダンスと報酬信号を提供する手法を開発すること。
• 複雑で現実に近い環境におけるオブジェクト再配置の質、効率性、スケーラビリティを向上させること。

提案手法

• ノイズ除去スコアマッチングを用いてターゲットスコアネットワークを学習し、ターゲット分布の対数密度の勾配を推定することで、ターゲット勾配場（TarGF）を構築する。
• TarGFを用いて、ターゲット分布の高密度領域を向いたオブジェクト単位の擬似速度を生成し、オブジェクトの移動をガイドする。
• TarGFをモデルベースのパスプランナ（例：ORCA）に統合し、衝突のない効率的な軌道を生成してオブジェクト再配置を実現する。
• TarGFから尤度変化に基づく報酬信号を導出し、専門家トレーリングなしに報酬形状を可能にする。
• TarGFを残差ポリシー・ネットワークと組み合わせ、モデルフリー強化学習フレームワーク（例：SAC）に統合し、サンプル効率とポリシー性能を向上させる。
• スコアネットワークの学習に使用するため、状態の例を画像にレンダリングすることで、画像入力への拡張を実現し、視覚的報酬学習を可能にする。

実験結果

リサーチクエスチョン

• RQ1 スコアベースモデルは、明示的なゴール指定なしに、例のレイアウトのセットからのみ意味のあるターゲット勾配場を学習できるか？
• RQ2 学習されたターゲット勾配場は、オブジェクト再配置における計画および強化学習の両方をどれほど効果的にガイドできるか？
• RQ3 複雑で高次元な環境において、TarGFはSOTA手法と比較して最終状態の質と効率性を向上させられるか？
• RQ4 速度制御および力制御などの異なるダイナミクスに、TarGFは一般化可能か？
• RQ5 モード崩壊を避けるために、高品質な状態を達成しつつ、最終的配置の多様性を維持できるか？

主な発見

• TarGFを用いた手法は、SOTAベースラインと比較して最終状態の質が顕著に優れており、潜在分布の平均エントロピーが低く抑えられ（0.0037 vs. 0.0066（真値））、すべてのターゲットモードを良好にカバーしている。
• ボール再配置タスクにおいて、TarGFを用いた計画は、ORCAおよびSQILベースラインと比較して、経路長と衝突回数を削減し、より速い収束を達成した。
• 画像ベースの報酬学習を用いても、SACベースラインと同等の性能を達成したが、入力次元の高さのためやや効率性に劣った。
• 力制御ダイナミクスでは、TarGFを用いたPID制御器がSACに近い性能を達成し、制御ダイナミクスおよび誤差に対して高いロバストネスを示した。
• オブジェクト選択に勾配の大きさを用いた二段階ポリシーは、定性的および定量的指標の両面でゴールベースのベースラインを上回った。
• 再配置結果の平均潜在分布は、真値のモード中心とよく一致しており、多様なターゲット配置の有効なカバーが実現されていることが示された。