[論文レビュー] Spectral Normalisation for Deep Reinforcement Learning: an Optimisation Perspective

Florin Gogianu, Tudor Berariu+4 more|arXiv (Cornell University)|May 11, 2021

Reinforcement Learning in Robotics参考文献 47被引用数 8

ひとこと要約

本論文は、スペクトル正規化（SN）が強化学習の性能を著しく向上させることを示している。これはRLの目的関数を変更するのではなく、価値関数推定器の最適化ダイナミクスを安定化させることによるものである。SNを用いて1つのネットワーク層のリプシッツ定数を制約することで、Categorical-DQNエージェントは、アーキテクチャの変更を最小限に抑えつつ、アタリゲームでRainbowエージェントと同等の性能を達成した。また、ハイパーパrameterへの感受性が低く、Adamを用いた訓練でも安定性が向上した。

ABSTRACT

Most of the recent deep reinforcement learning advances take an RL-centric perspective and focus on refinements of the training objective. We diverge from this view and show we can recover the performance of these developments not by changing the objective, but by regularising the value-function estimator. Constraining the Lipschitz constant of a single layer using spectral normalisation is sufficient to elevate the performance of a Categorical-DQN agent to that of a more elaborated ainbow{} agent on the challenging Atari domain. We conduct ablation studies to disentangle the various effects normalisation has on the learning dynamics and show that is sufficient to modulate the parameter updates to recover most of the performance of spectral normalisation. These findings hint towards the need to also focus on the neural component and its learning dynamics to tackle the peculiarities of Deep Reinforcement Learning.

研究の動機と目的

• 深層強化学習におけるアルゴリズム的進展と同等の性能を達成できる、ニューラルネットワークの最適化ダイナミクスの正則化が可能かどうかを調査すること。
• スペクトル正規化（SN）が、非i.i.d.かつ非ステーションナリなデータ設定下でのDRLの訓練安定性と性能向上に果たす役割を評価すること。
• SNの効果を、具体的に滑らかさ正則化と最適化ダイナミクスの変更に分離し、学習性能に与える影響を解明すること。
• 特に困難なDRL環境において、Adamベースの訓練におけるハイパーパrameter感受性をSNを用いて低減すること。
• SNの性能向上が主に最適化効果に起因することを示すこと、関数の滑らかさとは異なる。

提案手法

• 価値関数推定器のリプシッツ定数を制約するために、C51 DQNエージェントの1つの全結合層にスペクトル正規化を適用する。
• 重み行列のスペクトルノルムを用いてバックプロパゲーション中にパラメータを再スケーリングし、重みの大きさと方向を分離する。
• アブレーションスタディでは、SNと他の正規化戦略（勾配や出力統計に基づいて動的に調整されるスペクトルスケジューラーを含む）を比較する。
• 標準的な評価プロトコルに従い、Atari ALEベンチマークで実験を行い、500Kフレームのうち250Kステップごとに検証を実施する。
• ハイパーパrameterスイープでは、異なる最適化手法（AdamとRMSProp）を用い、SN有無の比較を通じて性能とロバストネスを評価する。
• SNの影響を直接的に再現するため、SNそのものではなくパラメータ更新を調整するスペクトルスケジューラー（divOut, mulEps, divGrad）を導入・評価し、最適化効果を隔離する。

実験結果

リサーチクエスチョン

• RQ1 スペクトル正規化がRLの目的関数を変更せずに、ニューラルネットワークの最適化ダイナミクスを正則化することでDRLの性能を向上させられるか？
• RQ2 SNによる性能向上は、関数の滑らかさの向上によるものか、それともパラメータ更新ダイナミクスの変更によるものか？
• RQ3 SNは、Adamベースの訓練におけるハイパーパrameter選択への感受性を低減するか？
• RQ4 ネットワークが表現する関数を変更せずに、パラメータ更新の調整のみでSNの性能を再現できるか？
• RQ5 異なるスペクトル正規化戦略（例：divOut, mulEps）は、ネットワークアーキテクチャの違いに関係なく、収束性および最終的な性能においてどのように比較されるか？

主な発見

• C51 DQNエージェントの1つの全結合層にスペクトル正規化を適用した結果、54種類のアタリゲームで平均HNS（Human Normalized Score）が719.95に達し、フルRainbowエージェントと同等の性能を達成した。
• アブレーションスタディにより、SNの性能向上は関数の滑らかさの向上ではなく、最適化ダイナミクスの改善に起因することが示された。特に、パラメータ更新のモードを単独で制御するだけで、SNの大部分の利点が再現された。
• スペクトル正規化により、Adamの使用可能なハイパーパrameter範囲が拡大され、感受性が低減し、多様な設定でも安定した訓練が可能になった。
• DQN-Adamでは、SNにより平均HNSが358.45から719.95に上昇し、性能がほぼ2倍に向上した。一方、DQN-RMSPropでは改善は限定的であり、最適化手法との相互作用が示唆された。
• スペクトルスケジューラーdivOutは、平均性能および個別ケースの結果においてSNと類似した挙動を示し、主な利点がパラメータ更新のモード変更に起因することを示唆した。
• 最終層前の特徴量の有効ランクはSN下でも安定しており、SNがネットワークの表現能力を保持しつつ最適化を改善していることが示された。