[論文レビュー] Anderson Acceleration for Reinforcement Learning

Geist, Matthieu, Bruno Scherrer|arXiv (Cornell University)|Sep 25, 2018

Reinforcement Learning in Robotics参考文献 13被引用数 10

ひとこと要約

この論文は、過去の反復推定値を活用してより最適な次回推定値を計算することで、強化学習における価値反復の収束を高速化するアンドリューセン加速を導入する。予備の実験では著しく収束が改善された。この手法は近似型およびディープ強化学習へ一般化可能であり、動的計画法および方策最適化における有望な加速技術を提供する。

ABSTRACT

Anderson acceleration is an old and simple method for accelerating the computation of a fixed point. However, as far as we know and quite surprisingly, it has never been applied to dynamic programming or reinforcement learning. In this paper, we explain briefly what Anderson acceleration is and how it can be applied to value iteration, this being supported by preliminary experiments showing a significant speed up of convergence, that we critically discuss. We also discuss how this idea could be applied more generally to (deep) reinforcement learning.

研究の動機と目的

• 固定点計算の加速手法としてのアンドリューセン加速を、特に価値反復に適用すること。
• アンドリューセン加速が動的計画法および強化学習アルゴリズムにおける収束速度を著しく向上させることを調査すること。
• DQN や方策最適化のような、近似型およびディープ強化学習の設定へアンドリューセン加速を拡張すること。
• アンドリューセン加速が方策評価および修正方策反復フレームワークに適用可能かどうかを検討すること。
• 既存の強化学習アルゴリズムへのアンドリューセン加速統合の理論的および実験的基盤を提供すること。

提案手法

• アンドリューセン加速は、最後の $ m+1 $ 個の価値関数推定値とそれらに対応するベルマン作用素出力を重み付き和として組み合わせることで、新しい推定値を計算する。この重みは、これらの推定値が張る部分空間内で残差を最小化するように選ばれる。
• 係数 $ oldsymbol{eta}^{k+1} $ は、制約付き最小二乗問題を解くことで計算される：$ oldsymbol{eta}^{k+1} = \text{argmin}_{\boldsymbol{\beta}} \big\bracevert \boldsymbol{\beta}^\top \boldsymbol{\theta} \big\bracevert_2 $ であり、制約条件は $ \boldsymbol{1}^\top \boldsymbol{\beta} = 1 $ である。ここで $ \boldsymbol{\theta}_i = T v_{k-m+i} - v_{k-m+i} $ である。
• 係数 $ \boldsymbol{\beta} $ の最適化には、公式 $ \boldsymbol{\beta}^{k+1} = \frac{(\boldsymbol{\theta}^\top \boldsymbol{\theta})^{-1} \boldsymbol{1}}{\boldsymbol{1}^\top (\boldsymbol{\theta}^\top \boldsymbol{\theta})^{-1} \boldsymbol{1}} $ を用いて解析的に解が得られ、計算が効率的に行える。
• 本手法は価値反復に適用され、$ v_{k+1} = \boldsymbol{\beta}^{k+1\top} T \boldsymbol{v}_{k-m}^{k} $ として、最後の $ m $ 個の反復推定値とその残差を用いる。
• 本手法は近似型RLへ拡張され、DQNのターゲットを次のように修正する：$ y_i = \boldsymbol{\beta}^{k+1\top} \big( r_i + \tilde{\boldsymbol{Q}}_k(s_i', a_i') \big) $。ここでは過去のターゲットネットワークの重み付き組み合わせが用いられる。
• 本手法は方策最適化に対しても提案され、勾配上昇ステップを固定点反復とみなして加速する。

実験結果

リサーチクエスチョン

• RQ1 アンドリューセン加速は、MDPにおける価値反復の収束に必要な反復回数を著しく削減できるか？
• RQ2 収束速度および安定性の観点から、標準的価値反復と比較してアンドリューセン加速はどのように性能を示すか？
• RQ3 アンドリューセン加速は、DQN などの近似型動的計画法に効果的に適応可能か？
• RQ4 勾配更新を固定点反復とみなす方策最適化において、アンドリューセン加速は適用可能か？
• RQ5 ディープ強化学習フレームワークにアンドリューセン加速を統合する際の実用的課題と計算的トレードオフは何か？

主な発見

• アンドリューセン加速は、予備の実験で価値反復における収束の著しい高速化を達成した。
• 複数の過去の反復推定値の情報を活用することで、固定点に到達するまでの反復回数が削減され、収束速度が向上した。
• 基礎となるベルマン作用素を変更しないため、既存の反復的強化学習アルゴリズムへのプラグイン型の強化が可能である。
• 近似型RL、特にDQNにおいて、過去のターゲットネットワークの重み付き組み合わせを用いたターゲット計算の修正により、自然に一般化された。
• 勾配上昇ステップを固定点反復とみなすことにより、方策最適化に対してもアンドリューセン加速を適用可能であり、より高速な方策学習への新たな道筋を提供する。
• $ m $ が小さい場合、残差ベクトルに対する小規模な最小二乗問題の解法に限定されるため、計算が効率的である。