[論文レビュー] Hierarchical Policy for Non-prehensile Multi-object Rearrangement with Deep Reinforcement Learning and Monte Carlo Tree Search

Fan Bai, Fei Meng+3 more|arXiv (Cornell University)|Sep 18, 2021

Robot Manipulation and Learning参考文献 25被引用数 6

ひとこと要約

本稿では、モンテカルロ木探索（MCTS）とパスプリミティブを組み合わせた階層的ディープレインフォースメントラーニングフレームワークを、非握取的マルチオブジェクトリアレンジメントに提案する。ハイレベルポリシーは、インスティレーション・アンド・リインフォースメントで訓練されたポリシーネットワークによって誘導されるMCTSを用い、最適なオブジェクト移動順序を決定する。ロー レベルポリシーは、オブジェクトを効率的に移動させるためのパスプリミティブを実行する。本手法は、80.0%の成功率、平均31.90ステップ、平均54.50のリターンを達成し、成功率、ステップ数、パス効率の面で最先端のベースラインを上回った。

ABSTRACT

Non-prehensile multi-object rearrangement is a robotic task of planning feasible paths and transferring multiple objects to their predefined target poses without grasping. It needs to consider how each object reaches the target and the order of object movement, which significantly deepens the complexity of the problem. To address these challenges, we propose a hierarchical policy to divide and conquer for non-prehensile multi-object rearrangement. In the high-level policy, guided by a designed policy network, the Monte Carlo Tree Search efficiently searches for the optimal rearrangement sequence among multiple objects, which benefits from imitation and reinforcement. In the low-level policy, the robot plans the paths according to the order of path primitives and manipulates the objects to approach the goal poses one by one. We verify through experiments that the proposed method can achieve a higher success rate, fewer steps, and shorter path length compared with the state-of-the-art.

研究の動機と目的

• 非握取的マルチオブジェクトリアレンジメントというNP困難な課題に対処すること。ここでは、経路計画と移動順序の決定が両方とも重要である。
• マルチオブジェクト操作における長時間スパンの意思決定の複雑さを軽減するために、問題をハイレベルの順序決定とロー レベルの経路実行に分解すること。
• エキスパートのインスティレーションとポリシーグラデーショントレーニングを統合することで、強化学習におけるサンプル効率と収束速度を向上させること。
• 学習済みポリシーネットワークを用いて木の展開とシミュレーションを誘導することで、MCTSにおける探索効率と長期的計画能力を向上させること。

提案手法

• ハイレベルポリシーは、インスティレーション学習とPPOを用いて訓練されたディープポリシーネットワークによって誘導されるモンテカルロ木探索（MCTS）を用い、最適なリアレンジメント順序を探索する。
• ポリシーネットワークはエキスパートのデモンストレーションを用いて訓練され、長期的な意思決定において性能を向上させるためにプロキシマルポリシーオプティマイゼーション（PPO）でファインチューニングされる。
• ロー レベルポリシーは、握ることなくターゲットポーズにオブジェクトを移動させるための、事前に定義されたパスプリミティブを実行する。
• パスプリミティブは、アクションスペースの深さと幅を低減させることで、単一ステップの離散的アクションよりも高速かつ信頼性の高いロー レベル制御を可能にする。
• 階層的フレームワークは、ハイレベルの計画（どの順序でオブジェクトを動かすか）とロー レベルの実行（各オブジェクトをどのように動かすか）を分離することで、スケーラビリティを向上させる。
• ポリシーネットワークによりMCTSが高速化され、木の展開とシミュレーション中に有望なアクションを優先的に処理することで、探索時間の短縮と収束の向上が達成される。

実験結果

リサーチクエスチョン

• RQ1 MCTSとディープレインフォースメントラーニングを組み合わせた階層的ポリシーが、成功率と効率性を向上させながら、非握取的マルチオブジェクトリアレンジメント問題を効果的に解けるか。
• RQ2 インスティレーション学習と強化学習を組み合わせることで、ハイレベルポリシーネットワークのサンプル効率と収束速度がどのように向上するか。
• RQ3 パスプリミティブは、ロー レベル制御の複雑さをどの程度低減させ、オブジェクト操作の安定性を向上させるか。
• RQ4 学習済みポリシーネットワークの統合が、長時間スパンの意思決定タスクにおけるMCTSのパフォーマンスをどのように改善するか。
• RQ5 既存のMCTSおよびRLベースのベースラインと比較して、本手法はオブジェクト数の増加に伴いどのようにスケーリングするか。

主な発見

• 提案手法は、80.0%の成功率を達成し、同じベンチマークでMCTS+DQN（65.0%）とMCTS+Random（45.0%）を顕著に上回った。
• 平均ステップ数は31.90にまで低下し、純粋な強化学習（47.27ステップ）と比較して16.14ステップの削減が達成された。
• 平均リターンは54.50を達成し、同じ評価でMCTS+PPO（13.78）とMCTS+DQN（41.20）を上回った。
• オブジェクト数が増加するにつれて、本手法は平均アクションシーケンス長が最小で、最も集中した分布を維持した。これは、優れたスケーラビリティとロバストネスを示している。
• 3,000エポックでのインスティレーション学習が最良のパフォーマンスをもたらした。これより高いまたは低いインスティレーションレベルでは、強化学習の結果が劣化した。これは、最適なバランスが極めて重要であることを示している。
• 全テストオブジェクト数にわたり、パス長とステップ数の両面で一貫した優位性を示した。これは、複雑で高次元の環境において本手法の有効性を確認するものである。