[論文レビュー] Visualizing Critic Match Loss Landscapes for Interpretation of Online Reinforcement Learning Control Algorithms

Jingyi Liu, Jian Guo+1 more|arXiv (Cornell University)|Mar 15, 2026

Adaptive Dynamic Programming Control被引用数 0

ひとこと要約

この論文は、オンラインアクター–クリティックRLにおけるクリティック学習プロセスを、低次元サブ空間でクリティックマッチ損失の風景を構築して可視化・定量化する方法を提案し、制御タスクにおける収束と安定性の定性的・定量的解釈を可能にします。

ABSTRACT

Reinforcement learning has proven its power on various occasions. However, its performance is not always guaranteed when system dynamics change. Instead, it largely relies on users' empirical experience. For reinforcement learning algorithms with an actor-critic structure, the critic neural network reflects the approximation and optimization process in the RL algorithm. Analyzing the performance of the critic neural network helps to understand the mechanism of the algorithm. To support systematic interpretation of such algorithms in dynamic control problems, this work proposes a critic match loss landscape visualization method for online reinforcement learning. The method constructs a loss landscape by projecting recorded critic parameter trajectories onto a low-dimensional linear subspace. The critic match loss is evaluated over the projected parameter grid using fixed reference state samples and temporal-difference targets. This yields a three-dimensional loss surface together with a two-dimensional optimization path that characterizes critic learning behavior. To extend analysis beyond visual inspection, quantitative landscape indices and a normalized system performance index are introduced, enabling structured comparison across different training outcomes. The approach is demonstrated using the Action-Dependent Heuristic Dynamic Programming algorithm on cart-pole and spacecraft attitude control tasks. Comparative analyses across projection methods and training stages reveal distinct landscape characteristics associated with stable convergence and unstable learning. The proposed framework enables both qualitative and quantitative interpretation of critic optimization behavior in online reinforcement learning.

研究の動機と目的

• オンライン強化学習制御アルゴリズムの解釈を、クリティック成分に焦点を当てて動機づける。
• オンライン学習下でのクリティック学習ダイナミクスを理解するための可視化フレームワーク（クリティックマッチ損失風景）を開発する。
• 客観的な跨実行比較を可能にする定量的風景指標を導入する。
• 風景の幾何学と実際のダイナミック制御問題におけるシステム性能を関連づける。

提案手法

• 参照データ/TDターゲットを固定し、クリティックウェイトのグリッドに対するTD誤差を評価してクリティックマッチ損失を構築する。
• 各エピソードの終了時にクリティックウェイトを記録し、ウェイト軌道から得られる2つの正交方向にPCAで射影する。
• 最終方策の周りでクリティック学習を可視化するために3D損失風景と2D最適化経路を生成する。
• 鋭さ・盆地面積・局所異方性といった定量的風景指標を導入し、学習/run間で損失を正規化して比較可能とする。
• 風景の幾何学を固定ホライズン上の制御性能と関連付けるためにシステム性能指標J_Hを定義する。

Figure 1 : Structure of ADHDP

実験結果

リサーチクエスチョン

• RQ1 オンラインRLのクリティック学習は固定参照損失風景を通じてどのように解釈できるか。
• RQ2 異なる射影手法や学習段階は収束或いは不安定性に関連する異なる風景幾何を生み出すか。
• RQ3 定量的風景指標はオンラインRL制御における収束/発散を予測または説明できるか。
• RQ4 クリティック風景はタスクを超えた実際のダイナミックシステム性能とどのように関連するか。

主な発見

• カートポールの収束学習は滑らかなクリティック損失風景を生み、PCA方向が分散の69.9%と25.7%を説明（総計95.6%）。
• カートポールの場合、クリティック損失は0に向かって減少し、アクター勾配の大きさも低下して収束（最適ではないが安定な解）を示す。
• 宇宙機の姿勢タスクでは、クリティック損失とアクター勾配にスパイクが現れ、最終方策の下で発散に至る。
• クリティック風景アプローチは定性的な幾何学的視点を提供し、導入した指標により、実行間の比較と学習挙動の解釈に定量的な根拠を与える。
• 正規化されたホライズンコストJ_Hを介して風景幾何学とシステム性能を結びつけることで、タスク横断的な比較を促進する。

(a) State trajectory