[論文レビュー] Model-Free Trajectory-based Policy Optimization with Monotonic Improvement

Riad Akrour, Abbas Abdolmaleki+3 more|arXiv (Cornell University)|Jun 29, 2016

Gaussian Processes and Bayesian Inference被引用数 19

ひとこと要約

この論文は、軌道データから局所的・時変の二次Q関数を学習し、連続する方策間の正確なKL発散度制約を課すことで、単調な改善を保証するモデルフリーな軌道ベース方策最適化アルゴリズムMOTOを提案する。線形化されたダイナミクスに依存する従来手法とは異なり、線形化バイアスを回避することで、非線形性が著しい制御タスクにおいて優れた性能を達成する一方、重要度サンプリングによりサンプル効率を維持する。

ABSTRACT

Many of the recent trajectory optimization algorithms alternate between linear approximation of the system dynamics around the mean trajectory and conservative policy update. One way of constraining the policy change is by bounding the Kullback-Leibler (KL) divergence between successive policies. These approaches already demonstrated great experimental success in challenging problems such as end-to-end control of physical systems. However, the linear approximation of the system dynamics can introduce a bias in the policy update and prevent convergence to the optimal policy. In this article, we propose a new model-free trajectory-based policy optimization algorithm with guaranteed monotonic improvement. The algorithm backpropagates a local, quadratic and time-dependent \qfunc~learned from trajectory data instead of a model of the system dynamics. Our policy update ensures exact KL-constraint satisfaction without simplifying assumptions on the system dynamics. We experimentally demonstrate on highly non-linear control tasks the improvement in performance of our algorithm in comparison to approaches linearizing the system dynamics. In order to show the monotonic improvement of our algorithm, we additionally conduct a theoretical analysis of our policy update scheme to derive a lower bound of the change in policy return between successive iterations.

研究の動機と目的

• 軌道ベース方策最適化において、システムダイナミクスを線形化することに起因するバイアスを解消すること。これは、最適方策への収束を妨げる要因となる。
• システムダイナミクスの簡略化仮定に依存しない、モデルフリーなアルゴリズムを構築し、方策性能の単調な改善を保証すること。
• 正確なKL制約下での閉形式更新を可能にすることで、高次元連続制御タスクにおける効果的な方策更新を実現すること。
• 重要度サンプリングを用いて、すべての時間ステップおよび過去の反復からの遷移データを再利用することで、サンプル効率を向上させること。
• 期待KL制約の使用が単調な方策改善を保証することを理論的に正当化し、従来の最大KLバインディングを厳密に満たす必要があるという制約を拡張すること。

提案手法

• 教師あり回帰を用いて、システムモデルが不要な状態-行動価値情報を捉える局所的・時変の二次Q関数を、軌道データから学習する。
• 情報理論的信頼領域を用い、現在の方策と更新後の方策間の期待KL発散度に正確な制約を課すことで、閉形式での方策更新を計算する。
• Q関数は現在の方策分布からのサンプルにフィットさせることで、局所的有効性を確保し、近似誤差を低減する。
• 重要度サンプリングを用いて、すべての時間ステップおよび過去の反復からの遷移データを効率的に再利用し、サンプル効率を向上させる。
• 確率的線形フィードバック方策パラメータ化を活用することで、取り扱いやすく安定した方策更新を実現する。
• 理論的分析により、反復間の方策リターン向上の下限を導出し、期待KL制約下でも単調な改善が保証されることを証明する。

実験結果

リサーチクエスチョン

• RQ1 モデルフリーな方策最適化アルゴリズムは、線形化されたダイナミクスモデルに依存せずに単調な改善を達成できるか？
• RQ2 システムダイナミクスの簡略化仮定なしに、正確なKL制約の満足を方策更新で達成できるか？
• RQ3 局所的二次Q関数を学習することで、極めて非線形性が著しい制御タスクにおける性能にどのような影響を与えるか？
• RQ4 時間依存方策を伴う軌道ベース方策最適化において、重要度サンプリングはサンプル効率を効果的に向上させられるか？
• RQ5 最大KL制約ではなく期待KL制約を課すことでも、依然として単調な方策改善が保証されるか？

主な発見

• MOTOは、線形化されたダイナミクスに依存するベースライン手法を、非線形性が著しい制御タスクで上回り、優れたサンプル効率と性能を示した。
• 反復間のリターン増加の下限が理論的に導出されたことから、MOTOは方策リターンにおいて単調な改善を達成した。
• サンプル数やダイナミクスの非線形性に関係なく、正確なKL制約の満足が維持され、安定的かつ信頼性の高い方策更新が可能となった。
• シミュレーテッドロボットテーブルティーニスタスクでは、MOTOは高次元連続制御問題に低サンプル複雑性で効果的にスケーリングした。
• 理論的分析により、以前の方策の状態分布下での期待KL発散度のバインディングが、単調な改善を保証するのに十分であることが確認された。これは、従来の最大KL制約が必要とされるより強い条件を拡張した結果である。