[論文レビュー] Sim and Real: Better Together

Shirli Di Castro Shashua, Dotan Di Castro+1 more|arXiv (Cornell University)|Oct 1, 2021

Simulation Techniques and Applications被引用数 5

ひとこと要約

本論文は、シミュレーション環境と現実世界のデータの両方を同時に使用してエージェントを訓練する、新たな強化学習フレームワークを提案する。各環境に対して個別のリプレイバッファを維持し、データ収集レートと最適化レートを分離することで実現される。この手法により、高スループットのシミュレーションと高忠実度の現実世界フィードバックのバランスを取ることで、シミュレーションから現実への転移性能が向上し、サンプル効率が向上し、ロボット操作タスクにおいて標準的なシミュレーションから現実への転移ベースライン比で25%の成功確率向上を達成した。

ABSTRACT

Simulation is used extensively in autonomous systems, particularly in robotic manipulation. By far, the most common approach is to train a controller in simulation, and then use it as an initial starting point for the real system. We demonstrate how to learn simultaneously from both simulation and interaction with the real environment. We propose an algorithm for balancing the large number of samples from the high throughput but less accurate simulation and the low-throughput, high-fidelity and costly samples from the real environment. We achieve that by maintaining a replay buffer for each environment the agent interacts with. We analyze such multi-environment interaction theoretically, and provide convergence properties, through a novel theoretical replay buffer analysis. We demonstrate the efficacy of our method on a sim-to-real environment.

研究の動機と目的

• シミュレーションから現実への強化学習における現実ギャップを解消するため、シミュレーションと現実世界のデータを統合して訓練することを目的とする。
• 高スループットのシミュレーションデータと低スループットだが高忠実度の現実世界データの間の不均衡を克服することを目的とする。
• データ収集レートと最適化レートを分離することで、サンプル効率と方策収束性を向上させる手法を開発することを目的とする。
• マルチ環境リプレイバッファのダイナミクス、特にマルコフ性と誘導確率測度についての理論的分析を提供することを目的とする。
• 現実世界のシミュレーションと実際の環境間に存在する摩擦の不一致を含む、現実的な摩擦差異を伴うロボット操作タスクにおいて、本手法の実証的妥当性を検証することを目的とする。

提案手法

• エージェントはK個の環境（例：シミュレーションと現実世界）と相互作用し、各環境に対して個別のリプレイバッファに遷移を格納する。
• サンプリングメカニズムにより、各リプレイバッファから確率βjで遷移を選択し、これはデータ収集レートqiとは独立に設定される。
• オフポリシー手法（線形アクタクリティックおよびDDPGの変種）を用いて、混合リプレイバッファからのサンプルを用いて方策を最適化する。
• 分布シフト補正のため、重要度サンプリングの原則がシミュレーションデータと現実データの間で適用される。
• 個別のリプレイバッファにより、最適化中に高量で低忠実度のシミュレーションデータによる性能劣化が防止される。
• 理論的分析により、提案されたマルチ環境リプレイ設定下での漸近的収束性が確立された。

実験結果

リサーチクエスチョン

• RQ1 シミュレーションと現実世界のデータの両方を統合的に学習させることで、標準的なシミュレーションから現実への転移手法に比べ、方策性能が向上するか？
• RQ2 高スループットのシミュレーションデータと低スループットの高忠実度の現実世界データの間の不均衡を、トレーニング中に効果的に管理できるか？
• RQ3 個別にリプレイバッファを持つ複数の異なる環境で学習する強化学習エージェントの理論的収束挙動はいかなるものか？
• RQ4 データ収集レートと最適化レートを分離することで、シミュレーションから現実への設定におけるサンプル効率と方策一般化性が向上するか？
• RQ5 現実世界データは、シミュレーションの不正確さ（例：誤った摩擦パラメータ）をどれほど是正できるか？

主な発見

• 提案手法は、同一のトレーニング条件下で、標準的なシミュレーションから現実への微調整手法に比べ、現実環境での成功確率が25%高い結果を達成した。
• シミュレーションデータと現実データに個別のリプレイバッファを用いることで、共有リプレイバッファを用いた手法に比べて顕著に優れた性能を示した。共有リプレイバッファはデータの不均衡と性能劣化を引き起こしていた。
• 理論的分析により、マルチ環境リプレイ設定下での提案アルゴリズムの漸近的収束性が確認され、誘導確率測度とマルコフ性の明確な特徴付けがなされた。
• 本手法は、特に摩擦パラメータの不正確さに対して強く、シミュレーションで2.0〜2.2の摩擦範囲に誤差がある場合でも、現実環境がそれを是正し、失敗を回避する能力を示した。
• データ収集レートと最適化レートの分離により、現実世界のデータを過剰な現実世界のロールアウトを伴わずに効果的に活用できるようになった。
• 実証的結果から、シミュレーションのデータ収集レートが100倍高い状況下でも、最適化段階で高忠実度の現実データを優先することで、優れた現実世界性能が達成された。