[論文レビュー] On Connections between Constrained Optimization and Reinforcement Learning

Nino Vieillard, Olivier Pietquin+1 more|arXiv (Cornell University)|Oct 18, 2019

Reinforcement Learning in Robotics参考文献 20被引用数 7

ひとこと要約

この論文は、制約付き最適化と強化学習の間の形式的なアルゴリズム的関係を確立し、三つの動的計画法のスキーム—保守的方策反復（CPI）、ミラー降下変種方策反復（MD-MPI）、Politex—を、それぞれの基本的凸最適化アルゴリズムであるフランク＝ウォルフ法、ミラー降下法、デュアル平均化法と結びつける。主な貢献は、共通する構造的原則を明らかにする統一的フレームワークを提供することであり、最適化理論と強化学習の間で相互に利点を生み出し合うことで、より効率的で解析可能なアルゴリズムの設計が可能になる。

ABSTRACT

Dynamic Programming (DP) provides standard algorithms to solve Markov Decision Processes. However, these algorithms generally do not optimize a scalar objective function. In this paper, we draw connections between DP and (constrained) convex optimization. Specifically, we show clear links in the algorithmic structure between three DP schemes and optimization algorithms. We link Conservative Policy Iteration to Frank-Wolfe, Mirror-Descent Modified Policy Iteration to Mirror Descent, and Politex (Policy Iteration Using Expert Prediction) to Dual Averaging. These abstract DP schemes are representative of a number of (deep) Reinforcement Learning (RL) algorithms. By highlighting these connections (most of which have been noticed earlier, but in a scattered way), we would like to encourage further studies linking RL and convex optimization, that could lead to the design of new, more efficient, and better understood RL algorithms.

研究の動機と目的

• 強化学習における動的計画法のスキームと凸最適化アルゴリズムの間のアルゴリズム的類似性を形式化すること。
• これまで孤立的または非形式的に観察されてきた、強化学習と最適化の間の異なる関係を統一すること。
• 正則化や収束解析などの最適化技術を、強化学習アルゴリズム設計に転送できることを可能にすること。
• 最適化の視点から現代の強化学習アルゴリズムをより明確に理解し、改善する理論的基盤を提供すること。
• 凸最適化からの知見を活用して、より効率的で理解度の高い新しい強化学習アルゴリズムの設計を促進すること。

提案手法

• 状態行動価値関数を勾配推定として用いることで、保守的方策反復の反復的構造をフランク＝ウォルフ法にマッピングする。
• 方策更新をBregman損失正則化と一致させることで、ミラー降下変種方策反復とミラー降下法の等価性を確立する。
• 方策更新が累積的な状態行動価値推定に基づきエントロピー正則化されるという観点から、Politexをデュアル平均化スキームとして再解釈する。
• 部分的方策評価を許容しつつもアルゴリズム的類似性を保つように、これらの接続を変種方策反復フレームワークに一般化する。
• ベルマン作用素と価値関数ダイナミクスを用いて、最適化ステップと強化学習の政策改善の間の類似性を導出する。
• 共通の更新ルールを通じて対応を形式化する：方策更新は線形項の最大化から正則化項を差し引いた形であり、勾配が推定Q値に置き換えられる。

実験結果

リサーチクエスチョン

• RQ1 保守的方策反復とフランク＝ウォルフ法のアルゴリズム的構造は、方策改善と収束性の観点でどのように比較できるか？
• RQ2 ミラー降下変種方策反復は、凸最適化におけるミラー降下法の動作をどの程度模倣しているか？
• RQ3 デュアル平均化スキームとPolitexアルゴリズムの間の正確な接続は、方策更新ルールの観点でどのようなものか？
• RQ4 これらの強化学習と最適化アルゴリズムの構造的類似性を活用することで、強化学習における収束性やサンプル効率を向上させられるか？
• RQ5 凸最適化から得られる理論的知見は、現代の強化学習アルゴリズムをよりよく理解し、分析するためにどのように転用できるか？

主な発見

• 状態行動価値関数を勾配推定として用いる場合、保守的方策反復はフランク＝ウォルフ法とアルゴリズム的に同等である。
• ミラー降下変種方策反復は、Bregman損失正則化を伴う方策更新により、ミラー降下法と正確に一致する。
• Politexは形式的にデュアル平均化スキームと同等であり、Q値の累積和がデュアル平均化項として機能する。
• これらの接続は、部分的方策評価が許容される変種方策反復でも保持され、類似性の頑健性を示している。
• 結果として、正則化や収束解析といった最適化技術を、強化学習アルゴリズムの改善と解析に直接適用可能であることが示唆される。
• このフレームワークは、整備された凸最適化理論を活用して強化学習アルゴリズムを統一的に理解・設計するためのレンズを提供する。