[論文レビュー] CrossNorm: Normalization for Off-Policy TD Reinforcement Learning

Aditya Bhatt, Max Argus+2 more|arXiv (Cornell University)|Feb 14, 2019

Fuel Cells and Related Materials参考文献 28被引用数 18

ひとこと要約

本稿では、オフポリシー時系列差分（TD）強化学習のための新しい正規化手法であるCrossNormを紹介する。この手法は、オンポリシーおよびオフポリシーの遷移を組み合わせることで、学習の安定性を向上させる。2つの異なるデータ分布にわたる特徴の再センター化により、DDPGおよびTD3における最適化の安定性が向上し、ターゲットネットワークの必要性が排除され、MuJoCoベンチマークにおいて最先端の手法を上回る性能を発揮する。

ABSTRACT

Off-policy temporal difference (TD) methods are a powerful class of reinforcement learning (RL) algorithms. Intriguingly, deep off-policy TD algorithms are not commonly used in combination with feature normalization techniques, despite positive effects of normalization in other domains. We show that naive application of existing normalization techniques is indeed not effective, but that well-designed normalization improves optimization stability and removes the necessity of target networks. In particular, we introduce a normalization based on a mixture of on- and off-policy transitions, which we call cross-normalization. It can be regarded as an extension of batch normalization that re-centers data for two different distributions, as present in off-policy learning. Applied to DDPG and TD3, cross-normalization improves over the state of the art across a range of MuJoCo benchmark tasks.

研究の動機と目的

• 深くオフポリシーTDアルゴリズムにおける有効な特徴正規化の欠如に取り組むこと。他の分野では成功しているが、オフポリシーRLでは未だ課題である。
• 標準的な正規化手法がオフポリシーRL設定でなぜ失敗するかを調査すること。
• オンポリシーとオフポリシーの遷移の間の分布シフトを効果的に処理できる新しい正規化スキームを設計すること。
• DDPGやTD3のようなオフポリシー深層RLアルゴリズムにおける学習の安定性とパフォーマンスを向上させること。
• ハイブリッド正規化戦略を活用することで、ターゲットネットワークの必要性を排除すること。

提案手法

• CrossNormは、オンポリシーおよびオフポリシーの遷移の混合に基づいて動作する正規化層を導入し、特徴分布の安定化を図る。
• オフポリシー学習に存在する2つの異なるデータ分布の統計に基づいて、バッチ正規化を拡張し、特徴を再センター化する。
• オンポリシーおよびオフポリシーの遷移に対して別々にバッチ統計を計算し、重み付き組み合わせを用いて入力特徴を正規化する。
• CrossNormは、DDPGおよびTD3のポリシーおよびQネットワークに統合され、標準的なバッチ正規化層に置き換えられる。
• 非線形活性化関数の前に対応する正規化を適用することで、学習中の安定性を維持する。
• Q値のターゲットにおける分布シフトを低減することで、ターゲットネットワークなしの安定した学習が可能になる。

実験結果

リサーチクエスチョン

• RQ1 なぜ標準的な正規化手法はオフポリシーTD強化学習で失敗するのか？
• RQ2 オンポリシーおよびオフポリシーの両方の遷移を考慮するハイブリッド正規化戦略が、学習の安定性を向上させられるか？
• RQ3 CrossNormは、DDPGやTD3のようなオフポリシーアルゴリズムでターゲットネットワークの必要性を排除できるか？
• RQ4 MuJoCoベンチマーク環境において、CrossNormは最先端の正規化および学習手法と比較してどのように評価されるか？
• RQ5 CrossNormは連続的制御タスクにおいて、より高いサンプル効率と最終的なパフォーマンスを達成できるか？

主な発見

• CrossNormは、DDPGやTD3のようなオフポリシーTDアルゴリズムにおける学習の安定性を顕著に向上させる。
• この手法により、ターゲットネットワークの必要性が排除され、学習パイプラインが単純化される。
• CrossNormは、複数のMuJoCoベンチマークタスクで最先端のパフォーマンスを達成する。
• その改善は、オンポリシーとオフポリシーの遷移間の分布シフトのより良い取り扱いに起因する。
• オフポリシーRL設定において、標準的なバッチ正規化や他の正規化手法を上回る。
• 追加のハイパーパrameterチューニングを必要とせず、より安定的かつ効率的な学習が可能になる。