[論文レビュー] Bingham Policy Parameterization for 3D Rotations in Reinforcement Learning

Stephen James, Pieter Abbeel|arXiv (Cornell University)|Feb 8, 2022

Robotic Mechanisms and Dynamics被引用数 6

ひとこと要約

本論文は、3次元回転における強化学習のための新しい方策パラメータ化、Bingham方策パラメータ化（BPP）を提案する。標準的なガウス分布に代わり、単位ノルムクォータニオンに適したBingham分布を採用することで、回転行動空間におけるより自然な探索とクォータニオン上での正確な不確実性モデリングを可能にする。BPPは、Wahba問題やビジョンベースのRLBench操作タスクを含む、回転および6次元ポーズ制御タスクにおいて、性能を向上させる。

ABSTRACT

We propose a new policy parameterization for representing 3D rotations during reinforcement learning. Today in the continuous control reinforcement learning literature, many stochastic policy parameterizations are Gaussian. We argue that universally applying a Gaussian policy parameterization is not always desirable for all environments. One such case in particular where this is true are tasks that involve predicting a 3D rotation output, either in isolation, or coupled with translation as part of a full 6D pose output. Our proposed Bingham Policy Parameterization (BPP) models the Bingham distribution and allows for better rotation (quaternion) prediction over a Gaussian policy parameterization in a range of reinforcement learning tasks. We evaluate BPP on the rotation Wahba problem task, as well as a set of vision-based next-best pose robot manipulation tasks from RLBench. We hope that this paper encourages more research into developing other policy parameterization that are more suited for particular environments, rather than always assuming Gaussian.

研究の動機と目的

• 3次元回転行動空間において、ガウス分布によるサンプリングが対称性と二重性のため不適切であるため、ガウス方策パラメータ化の限界に対処すること。
• 回転に inherently 適した分布（例：Bingham分布）を用いることで、連続制御強化学習における回転およびポーズ予測タスクの性能が向上するかどうかを調査すること。
• ガウス方策ヘッドをBingham方策ヘッドに置き換えることで、単純および複雑なロボット制御環境において測定可能な性能向上が得られることを実証すること。
• ガウスパラメータ化の普遍的使用を再考させ、タスクの幾何構造に特化した分布固有の方策パラメータ化の開発をRLコミュニティに促すこと。
• 多様な設定において本手法を検証すること：回転のみのタスク（Wahba問題）、ビジョンベースの次善ポーズ操作タスク、および挑戦的な画像ベースで報酬がスパarsなRLBench設定。

提案手法

• 標準的なガウス方策出力（平均とlog分散）を、3次元球面上での分布の形状を定義する濃度パラメータ $ z_1, z_2, z_3 $ を持つBingham分布のパラメータに置き換える。
• 深層ネットワークを用いてBingham分布パラメータ $ z_1, z_2, z_3 $ を予測し、$ z_1 \leq z_2 \leq z_3 \leq 0 $ の制約を課すことで、適切な順序付けと安定性を確保する。
• 探索中にBingham分布からの有効なクォータニオンサンプルを生成するために、再帰的サンプリングを適用し、確率的方策ロールアウトを可能にする。
• SACおよびPPOといった既存の強化学習アルゴリズムにBingham方策を統合するため、方策ヘッドをBinghamパラメータ出力に変更するが、並進およびグリッパー行動のパラメータ化にはガウスパラメータ化を維持する。
• log正規化定数および正規化定数の近似を深層ネットワークを用いて行い、log確率とエントロピーを計算することで、方策勾配更新に不可欠な要素を確保する。
• Wahba問題やRLBenchタスクを含む、3次元回転または6次元ポーズ制御を要する環境でBPP方策を訓練および評価する。形状報酬およびスパース報酬の両設定下で実施する。

実験結果

リサーチクエスチョン

• RQ1 行動空間が単位クォータニオンに制限される3次元回転制御タスクにおいて、ガウス方策パラメータ化をBingham分布に置き換えることで性能が向上するか？
• RQ2 Bingham分布は、3次元球面上に定義され、固有の対称性を持つため、ガウスサンプリングと比較して、回転タスクにおけるより優れた探索と方策最適化を提供するか？
• RQ3 ビジョンベースの観測を伴う複雑なタスクにおいて、BPPは高次元かつ報酬がスパースなロボット操作タスクでどのように性能を発揮するか？
• RQ4 BPPの利点は、単純で低次元の環境から、RLBenchのような現実世界にインspiredされた挑戦的なロボット制御ベンチマークまでスケーリング可能か？
• RQ5 特に正規化定数の近似と数値安定性の観点から、Bingham分布を強化学習で使用する際の実用的課題は何か？

主な発見

• BPPは、回転のみのWahba問題において、ガウス方策パラメータ化（GPP）を著しく上回り、クォータニオン不確実性のより良いモデリングにより、収束性と最終的な性能が向上した。
• RLBenchのビジョンベースの次善ポーズタスクにおいて、SAC(BPP)およびPPO(BPP)は、ガウス対応のそれらよりも高い成功確率を達成し、複雑な観測空間における一般化性と探索の向上を示した。
• 報酬がスパースで高次元の画像観測を伴う最も挑戦的なRLBench設定でも、BPPの性能向上は維持され、SACおよびPPOにおけるGPPでは有効に学習が行われない状況で顕著に効果を示した。
• 最先端の模倣強化学習アルゴリズムARMをBPPと組み合わせたARM(BPP)は、GPPを用いたARMよりも高いサンプル効率と最終的な性能を達成した。これは、BPPが高度な強化学習フレームワークにもスケーラブルであることを確認した。
• 結果から、幾何的行動空間において方策パラメータ化の選択が極めて重要であり、ガウス分布以外の分布（例：Bingham分布）を用いることで、回転に敏感なタスクで性能向上が実現可能であることが示唆された。
• 有望な結果が得られた一方で、深層ネットワークによる正規化定数の近似が潜在的な数値不安定性を引き起こす可能性があり、今後の研究ではより堅牢な推定手法の開発が求められる。