[論文レビュー] Learning functions across many orders of magnitudes.

Hado van Hasselt, Arthur Guez+2 more|arXiv (Cornell University)|Feb 24, 2016

Evolutionary Algorithms and Applications被引用数 11

ひとこと要約

本論文は、極めて異なるスケールの関数を学習するための適応的正規化手法を提案する。この手法により、ドメイン特化の報酬クリッピングを必要とせず、スケール不変な学習が可能になる。正規化更新中に非正規化出力を保持することで学習を安定化させ、深層強化学習において、特にMs. Pac-ManやCentipedeで、ヒューリスティックな報酬クリッピングを用いずに、先行手法を上回る性能を発揮する。

ABSTRACT

Learning non-linear functions can be hard when the magnitude of the target function is unknown beforehand, as most learning algorithms are not scale invariant. We propose an algorithm to adaptively normalize these targets. This is complementary to recent advances in input normalization. Importantly, the proposed method preserves the unnormalized outputs whenever the normalization is updated to avoid instability caused by non-stationarity. It can be combined with any learning algorithm and any non-linear function approximation, including the important special case of deep learning. We empirically validate the method in supervised learning and reinforcement learning and apply it to learning how to play Atari 2600 games. Previous work on applying deep learning to this domain relied on clipping the rewards to make learning in different games more homogeneous, but this uses the domain-specific knowledge that in these games counting rewards is often almost as informative as summing these. Using our adaptive normalization we can remove this heuristic without diminishing overall performance, and even improve performance on some games, such as Ms. Pac-Man and Centipede, on which previous methods did not perform well.

研究の動機と目的

• タスク間でターゲットのスケールが大きく異なる状況下で非線形関数を学習する課題に対処すること。
• スケールが未知の状態でも不安定性を引き起こさずに適応可能な正規化手法を開発すること。
• 任意の学習アルゴリズムおよび非線形関数近似手法（深層学習を含む）と互換性を持つこと。
• 特にアタリ2600ゲームにおいて、ヒューリスティックな報酬クリッピングの必要性を排除すること。

提案手法

• 訓練中にターゲット関数のスケールの大きな変動に対応できるよう、適応的正規化を実行する。
• 正規化の更新が非正規化出力を保持するように設計されており、非定常性と学習の不安定性を回避する。
• 下位の学習アルゴリズムや関数近似手法に依存しないため、深層学習モデルと統合可能である。
• ターゲット統計量（例：平均とスケール）の動的推定を維持し、正規化を動的に調整する。
• 正規化は訓練中に適用されるが、最終的な非正規化予測には影響を与えないため、一貫性が保たれる。
• 教師あり学習および強化学習の両方と互換性があり、スパarsな報酬信号を伴う環境にも適用可能である。

実験結果

リサーチクエスチョン

• RQ1 ターゲット関数のスケールが多数のオーダーにわたる状況で、適応的正規化が学習の安定性と性能を向上させるか？
• RQ2 アタリ2600ゲームでヒューリスティックな報酬クリッピングを削除しても、性能が低下するか、それとも適応的正規化によって維持・向上できるか？
• RQ3 深層強化学習において、固定またはドメイン特化の正規化戦略と比較して、提案手法の正規化手法はどのように優れているか？
• RQ4 この手法は、多様な学習タスクおよび関数近似アーキテクチャにどの程度一般化可能か？
• RQ5 非定常性を引き起こさないために、正規化更新中に非正規化出力を保持できるか？

主な発見

• 提案手法は、従来の深層学習手法が苦戦していたアタリ2600ゲーム（Ms. Pac-Man や Centipede）において、性能を向上させる。
• 報酬クリッピングを用いなくても性能が維持または向上する。これは、かつての訓練安定化のための必須要件であった。
• スケールの事前知識がなくても、ターゲット関数のスケールの多様な変動に対し、安定した学習が可能になる。
• 適応的正規化は、教師あり学習および強化学習の両設定で有効である。
• 正規化更新中に非正規化出力を保持することで、非定常性による不安定性を回避する。
• 任意の学習アルゴリズムおよび非線形関数近似手法（深層ニューラルネットワークを含む）と互換性がある。