[論文レビュー] Characterizing the Gap Between Actor-Critic and Policy Gradient

Junfeng Wen, Saurabh Kumar+2 more|arXiv (Cornell University)|Jun 13, 2021

Reinforcement Learning in Robotics被引用数 5

ひとこと要約

本論文は、バイアスのある価値関数推定による差異に起因する、アクタ・クリティック（AC）手法とポリシー勾配（PG）手法の理論的ギャップを同定し、これを解消する。ACのポリシー改善更新とPGのそれとの差を定量的に評価し、残差推定またはゲーム理論的原則に基づく補正を用いたResidual Actor-Critic（Res-AC）およびStackelberg Actor-Critic（Stack-AC）フレームワークを提案。この手法により、表形式および連続的制御環境において、サンプル効率と最終的な性能が顕著に向上する。

ABSTRACT

Actor-critic (AC) methods are ubiquitous in reinforcement learning. Although it is understood that AC methods are closely related to policy gradient (PG), their precise connection has not been fully characterized previously. In this paper, we explain the gap between AC and PG methods by identifying the exact adjustment to the AC objective/gradient that recovers the true policy gradient of the cumulative reward objective (PG). Furthermore, by viewing the AC method as a two-player Stackelberg game between the actor and critic, we show that the Stackelberg policy gradient can be recovered as a special case of our more general analysis. Based on these results, we develop practical algorithms, Residual Actor-Critic and Stackelberg Actor-Critic, for estimating the correction between AC and PG and use these to modify the standard AC algorithm. Experiments on popular tabular and continuous environments show the proposed corrections can improve both the sample efficiency and final performance of existing AC methods.

研究の動機と目的

• 非線形関数近似を用いたクリティックに対して、アクタ・クリティック（AC）とポリシー勾配（PG）手法の目的関数および勾配の観点から、その違いを正確に特定すること。
• 任意の非線形関数近似を用いたクリティックにおいて、AC更新を真のPG更新に変換するために必要な特定の補正を同定すること。
• 不完全なクリティック価値推定によって生じるバイアスを低減することで、AC手法のPGへの忠実度を向上させること。
• 残差推定またはゲーム理論的原則を用いてAC更新を補正する、実用的でスケーラブルなアルゴリズムを開発すること。
• これらの補正が、表形式および連続的制御タスクにおいて、サンプル効率と最終的な性能を顕著に向上させることを実証的に検証すること。

提案手法

• アクタとクリティックが順番に行動する2人ゲームとしてACとPGを定式化し、クリティックが価値推定を設定するStackelbergゲームとして定式化する。
• クリティックの価値推定に基づくアクタの目的関数と真の累積報酬の目的関数の下でのアクタの目的関数を比較することで、ACとPGの間の正確な勾配差を導出する。
• Residual Actor-Critic（Res-AC）を提案。この手法は、TD残差（予測誤差）の価値関数を学習することで、ポリシー勾配の補正項を推定する。
• Stackelberg Actor-Critic（Stack-AC）を導入。ACプロセスをStackelbergゲームとしてモデル化し、特定の条件下でアクタの更新が真のPGに収束することを示す。
• Soft Actor-Critic（SAC）にRes-ACおよびStack-ACの補正を適用し、標準的なAC手法と直接比較可能にする。
• 行列・ベクトル表記を用いて導出を簡略化し、ポリシー改善、価値関数近似、勾配更新の関係を明確にする。

実験結果

リサーチクエスチョン

• RQ1 非線形関数近似を用いたクリティックにおいて、アクタ・クリティック（AC）とポリシー勾配（PG）手法の間の正確な理論的ギャップは何か？
• RQ2 ACとPGの間のポリシー改善更新の差を、目的関数および勾配の両面からどのように定量的に評価できるか？
• RQ3 不完全なクリティックによるバイアスは、クリティックの残差（TD誤差）を用いて補正可能か？
• RQ4 特定の条件下で、ACのStackelbergゲーム定式化は真のポリシー勾配と同等か？
• RQ5 提案された補正は、表形式および連続的制御環境において、サンプル効率と最終的な性能を顕著に向上させることができるか？

主な発見

• ACとPGのギャップは、ACがバイアスのあるクリティックによる状態行動価値推定を用いることに起因する。この推定は収束まで最適化されていないため、最適でないポリシー更新が生じる。
• ACのポリシー更新と真のPG更新との差は、クリティックの残差（TD誤差）の関数として形式的に特徴付けられ、これが価値推定のバイアスを定量化する。
• Res-ACは、クリティックの残差の価値関数を学習することで、真のポリシー勾配を回復し、表形式および連続的制御タスクの両方でサンプル効率と最終的な性能が向上する。
• Stack-ACは、Stackelbergゲーム理論的視点から導出され、やや弱い仮定の下で真のポリシー勾配を回復する。これは第二の原理的補正メカニズムを提供する。
• 実験的結果から、Soft Actor-CriticにRes-ACおよびStack-ACの補正を適用することで、複数のベンチマーク環境においてより速い学習とより高い最終報酬が得られることを示した。
• 提案された補正は、GAE、TD3、TRPOといった既存の技術と直交しており、それらと組み合わせることでさらなる性能向上が可能である。