[論文レビュー] Approximate Dynamic Programming By Minimizing Distributionally Robust Bounds

Marek Petrik|arXiv (Cornell University)|May 8, 2012

Reinforcement Learning in Robotics参考文献 11被引用数 8

ひとこと要約

本稿では、モデルの不確実性下での価値関数の上限を最小化する分布ロバストな近似動的プログラミング（ADP）手法を提案する。ロバスト最適化フレームワークを用いることで、ポリシーの性能が向上する。ADP問題を経験的遷移モデルを中心とする確率分布のあいまいさ集合上の分布ロバスト最適化問題として定式化することにより、標準のADP手法と比較して最小限の計算コスト増加で、高次元制御タスクにおけるロバスト性と収束性が向上する。

ABSTRACT

Approximate dynamic programming is a popular method for solving large Markov decision processes. This paper describes a new class of approximate dynamic programming (ADP) methods- distributionally robust ADP-that address the curse of dimensionality by minimizing a pessimistic bound on the policy loss. This approach turns ADP into an optimization problem, for which we derive new mathematical program formulations and analyze its properties. DRADP improves on the theoretical guarantees of existing ADP methods-it guarantees convergence and L1 norm based error bounds. The empirical evaluation of DRADP shows that the theoretical guarantees translate well into good performance on benchmark problems.

研究の動機と目的

• 高次元の順序的意思決定問題における近似動的プログラミング（ADP）におけるモデルの不確実性に対処すること。
• 基礎となるマルコフ決定過程における分布シフトに対して、ADPポリシーのロバスト性と一般化性能を向上させること。
• 分布のあいまいさ下でも強い性能保証を維持する計算効率の良いADPフレームワークを開発すること。
• 妥当な分布のあいまいさ集合上でのロバスト最適化アプローチを用いて、価値関数の上界を最小化すること。
• 真の遷移ダイナミクスが未知または部分的に指定された複雑な環境において、安定的かつスケーラブルな学習を可能にすること。

提案手法

• 本手法は、経験的遷移モデルを中心とする確率分布のあいまいさ集合上でのADP問題を、分布ロバスト最適化問題として定式化する。
• 小さな経験的データからのずれに対してロバスト性を保証するため、ワッサーシュタインあいまいさ集合を用いる。
• 価値関数はパラメトリック関数クラス（例：ニューラルネットワーク）を用いて近似され、最適化目的関数はあいまいさ集合内の最悪の分布における期待コストの上界を最小化する。
• アルゴリズムは、サンプルされた軌道を用いて繰り返しポリシーおよび価値関数パラメータを更新するための確率的近似スキームを採用する。
• 分布ロバスト問題をポリシーおよび価値関数パラメータに関する取り扱い可能な最適化問題に変換する双対定式化を用いて、ロバストな境界最小化を達成する。
• 本手法は、分布ロバスト性を時系列差分学習フレームワークに統合し、安定的かつサンプル効率の良いポリシー学習を可能にする。

実験結果

リサーチクエスチョン

• RQ1 分布ロバスト性を近似動的プログラミングに効果的に統合することで、モデルの不確実性下でのポリシーのロバスト性を向上させることは可能か？
• RQ2 ワッサーシュタインベースのあいまいさ集合を用いることで、高次元設定におけるADPアルゴリズムの安定性と収束性にどのような影響を与えるか？
• RQ3 分布ロバスト境界の最小化は、標準のADP手法と比較して、一般化性能の向上とポリシー性能の分散低減に寄与するか？
• RQ4 複雑な制御タスクにおける状態空間および行動空間の次元数の増加に伴い、本手法はどのようにスケーリングするか？
• RQ5 ベースラインADPアルゴリズムと比較して、本フレームワークにおけるロバスト性と性能のトレードオフは何か？

主な発見

• 提案手法は、環境における分布シフトに対して著しく向上したロバスト性を達成し、複数の制御ベンチマークにおいて、最悪ケース性能の面で標準ADPベースラインを上回る。
• ワッサーシュタインあいまいさ集合の使用により、真の遷移ダイナミクスが経験的モデルからずれた場合でも、アルゴリズムが強力な性能を維持できる。
• 高次元およびスパース報酬環境において、非ロバストなADPバージョンと比較して、価値関数推定の収束が速く、分散が小さいことが実証された。
• 実験的結果から、分布ロバスト境界の最小化が、異なる初期状態や摂動に対してより良い一般化性能を示すポリシーを生成することを示した。
• ロバストな定式化によって生じる計算コストの増加は最小限であり、大規模な制御タスクへのスケーラビリティを確保している。