[論文レビュー] Understanding Domain Randomization for Sim-to-real Transfer

Xiaoyu Chen, Jiachen Hu+3 more|arXiv (Cornell University)|Oct 7, 2021

Reinforcement Learning in Robotics参考文献 54被引用数 33

ひとこと要約

本論文は、Domain Randomization を用いた sim-to-real 移行の理論フレームワークを提供し、シミュレータを潜在的 MDP としてモデル化し、さまざまな設定下で sim-to-real ギャップの境界を導出する。

ABSTRACT

Reinforcement learning encounters many challenges when applied directly in the real world. Sim-to-real transfer is widely used to transfer the knowledge learned from simulation to the real world. Domain randomization -- one of the most popular algorithms for sim-to-real transfer -- has been demonstrated to be effective in various tasks in robotics and autonomous driving. Despite its empirical successes, theoretical understanding on why this simple algorithm works is limited. In this paper, we propose a theoretical framework for sim-to-real transfers, in which the simulator is modeled as a set of MDPs with tunable parameters (corresponding to unknown physical parameters such as friction). We provide sharp bounds on the sim-to-real gap -- the difference between the value of policy returned by domain randomization and the value of an optimal policy for the real world. We prove that sim-to-real transfer can succeed under mild conditions without any real-world training samples. Our theory also highlights the importance of using memory (i.e., history-dependent policies) in domain randomization. Our proof is based on novel techniques that reduce the problem of bounding the sim-to-real gap to the problem of designing efficient learning algorithms for infinite-horizon MDPs, which we believe are of independent interest.

研究の動機と目的

• チューニング可能なシミュレータパラメータを伴う潜在 MDP 問題として、sim-to-real 移行を定式化する。
• 有限・無限のシミュレータクラス下での domain randomization による sim-to-real ギャップを分析する。
• 効果的な sim-to-real 移行には memory（履歴依存ポリシー）が極めて重要であることを示す。
• 関数近似を用いた無限 horizon の MDP における学習と sim-to-real ギャップを結ぶ新しい証明フレームワークを提供する。

提案手法

• 実世界の要因を表す潜在パラメータをもつ MDP の集合としてシミュレータをモデル化する（例：摩擦）。
• シミュレータの分布からサンプリングして履歴要件を持つ潜在 MDP を形成する形で、domain randomization を定義する。
• 潜在 MDP に対して最適な履歴依存ポリシーを返す Domain Randomization Oracle を導入する。
• 3つの設定（分離を伴う有限、分離を伴わない有限、無限のシミュレータクラス）で sim-to-real ギャップの上限を導出する。
• 基底ポリシーの構築を、関数近似を伴う無限-horizon 平均報酬 MDP の後悔境界と結びつける。

実験結果

リサーチクエスチョン

• RQ1 domain randomization が実世界のホライズン H に対してサブ線形の sim-to-real ギャップを保証するのはいつか？
• RQ2 domain randomization の下で有限と無限のシミュレータクラスは sim-to-real ギャップにどのように影響するか？
• RQ3 履歴依存性（メモリ）が好ましい sim-to-real の保証を達成する上でどの役割を果たすか？
• RQ4 domain randomization に関連する一般的な関数近似を用いた無限ホライズン平均報酬 MDP の学習に対して、証明可能な効率的なモデルベースアルゴリズムを導出できるか？
• RQ5 実世界のトレーニングデータなしで domain randomization を有効に保つために、シミュレータクラスのどの条件が必要か？

主な発見

• 分離条件を有する有限のシミュレータクラスでは、sim-to-real ギャップは O(D M^3 log(MH) log^2(SMH/δ) / δ^4) である。
• 分離なしだが有限の場合、ギャップは O(D sqrt(M^3 H log(MH)))。
• 実世界 MDP に近い滑らかさを持つ無限シミュレータクラスでは、ギャップは D、eluder 次元 de、ホライズン H、関数クラスのカバー数、および ε に対するリプシッツ項を含む項で境界付けられる。
• 下界は、適切な条件がない場合、任意のポリシーが worst-case 有限設定で Ω(sqrt(D M H)) のギャップを生じうることを示す。
• メモリ（履歴依存）はサブ線形のギャップを達成するために不可欠であり、domain randomization で廃棄できない。
• 本論文は、一般的な関数近似を用いた無限ホライズン平均報酬 MDP の学習に対して、最初の証明可能な効率的なモデルベースアルゴリズムを提示し、ほぼ最適な後悔界を達成する。