[論文レビュー] Iterative Amortized Policy Optimization

Joseph Marino, Alexandre Piché+2 more|CaltechAUTHORS (California Institute of Technology)|Oct 20, 2020

Reinforcement Learning in Robotics参考文献 81被引用数 5

ひとこと要約

本稿では、反復的アモアタイズドポリシー最適化（IAPO）を提案する。この手法は、勾配ベースの更新を繰り返し行うことで、ポリシー推定を段階的に改善し、アモアタイズドギャップを低減するとともに、複数のポリシー・モードを可能にする。MuJoCoベンチマークにおいて、直接的アモアタイズドと標準的なSACを上回る性能を発揮し、特にマルチモーダルなアクション空間において顕著である。

ABSTRACT

Policy networks are a central feature of deep reinforcement learning (RL) algorithms for continuous control, enabling the estimation and sampling of high-value actions. From the variational inference perspective on RL, policy networks, when used with entropy or KL regularization, are a form of extit{amortized optimization}, optimizing network parameters rather than the policy distributions directly. However, extit{direct} amortized mappings can yield suboptimal policy estimates and restricted distributions, limiting performance and exploration. Given this perspective, we consider the more flexible class of extit{iterative} amortized optimizers. We demonstrate that the resulting technique, iterative amortized policy optimization, yields performance improvements over direct amortization on benchmark continuous control tasks.

研究の動機と目的

• 深層強化学習におけるアモアタイズドギャップを解消すること。ここでの直接的ポリシー・ネットワークマッピングは、最適でないアクション分布を生じる。
• 直接的アモアタイズドの制限、例えば制限された探索性や単一の推定出力といった課題を克服すること。
• 推論時に反復的勾配更新を活用することで、より正確で柔軟なポリシー最適化を実現すること。
• 複雑な制御環境における反復的アモアタイズドの一般化性およびマルチモーダル性の利点を調査すること。
• 訓練時に反復的精錬を施すことで、テスト時の最適化を超える漸近的性能向上を実証すること。

提案手法

• ポリシー最適化を、各状態に対して複数の勾配ステップを経てポリシー・ネットワークを精錬する反復的アモアタイズド推論として定式化する。
• 微分可能で微分可能なポリシー・ネットワークを用い、行動分布のパラメータ（平均と分散）を出力し、ポリシー目的関数における勾配上昇法により反復的に更新する。
• Q値関数から計算された勾配を用いて、ポリシー・ネットワークのパラメータに対する勾配更新を実施する。
• 初期化および最適化における確率性を導入することで、1つの状態に対して複数の異なるポリシー推定を可能にし、探索性を向上させる。
• 標準的なRLアルゴリズム（例：SAC）を用いてエンドツーエンドでポリシー・ネットワークを訓練するが、訓練時および評価時ともに反復的精錬を適用する。
• 変分推論フレームワークを用いて、ポリシーをアモアタイズド最適化器として解釈し、反復的更新によって近似ポリシーと真の最適ポリシーとのギャップを低減する。

実験結果

リサーチクエスチョン

• RQ1 反復的アモアタイズド最適化は、直接的アモアタイズドと比較して、深層強化学習におけるアモアタイズドギャップを低減できるか？
• RQ2 反復的精錬により、1つの状態に対して複数のポリシー推定が可能となり、マルチモーダルなアクション空間における探索性が向上するか？
• RQ3 訓練時の反復的最適化は、テスト時の最適化と比較して、最終的な性能にどのように影響するか？
• RQ4 再トレーニングなしに、反復的アモアタイズドは新しい目的関数や価値関数に一般化可能か？
• RQ5 連続制御タスクにおいて、増加した計算量（複数のイテレーション）と性能向上のトレードオフは何か？

主な発見

• 反復的アモアタイズドポリシー最適化は、特にマルチモーダル性が重要なWalker2d-v2やAnt-v2のような環境において、アモアタイズドギャップを顕著に低減する。
• Hopper-v2、HalfCheetah-v2、Walker2d-v2において、IAPOは直接的アモアタイズドおよび標準的なSACを上回り、最終的なリターンにおいて一貫した改善を示す。
• 単一イテレーションでもIAPOは直接的アモアタイズドを上回る。これは、反復的精錬がマルチモーダル行動を効果的に捉えていることを示している。
• 評価時の追加イテレーションは環境性能を向上させない。これは、価値関数の不正確さがテスト時の最適化による利得を制限していることを示唆している。
• 訓練時にイテレーション数を増やす（例：5 vs. 1）と、漸近的性能が向上し、アモアタイズドギャップも低減する。これは、訓練時の精錬がテスト時の最適化よりも効果的であることを確認している。
• 1つの状態あたり10回の最適化ランで複数のポリシー推定が観測され、ポリシー平均間のL2距離から、特にWalker2d-v2およびAnt-v2において、アクション空間に持続的なマルチモーダル性が存在することが示された。