[論文レビュー] Observational Overfitting in Reinforcement Learning

Xingyou Song, Yiding Jiang+3 more|arXiv (Cornell University)|Dec 6, 2019

Reinforcement Learning in Robotics参考文献 61被引用数 17

ひとこと要約

本論文は強化学習における観測過学習を導入し、エージェントが潜在的なMDPダイナミクスではなく、観測における偶然的特徴に過学習する現象を明らかにする。固定されたMDPの観測空間のみを変更することで、線形（LQR）および非線形（MLP、CNN）ポリシーにおいても暗黙の正則化が生じ、過パラメータ化が一般化性能を向上させることを示している。これは、RLにおける従来のSLスタイルの一般化境界の適用を疑問視するものである。

ABSTRACT

A major component of overfitting in model-free reinforcement learning (RL) involves the case where the agent may mistakenly correlate reward with certain spurious features from the observations generated by the Markov Decision Process (MDP). We provide a general framework for analyzing this scenario, which we use to design multiple synthetic benchmarks from only modifying the observation space of an MDP. When an agent overfits to different observation spaces even if the underlying MDP dynamics is fixed, we term this observational overfitting. Our experiments expose intriguing properties especially with regards to implicit regularization, and also corroborate results from previous works in RL generalization and supervised learning (SL).

研究の動機と目的

• MDPダイナミクスやアーキテクチャの混同要因とは独立して、一般化性能の低下を引き起こす観測過学習を分離・分析すること。
• MDPダイナミクスを固定し、観測空間のみを変化させることで観測過学習を研究可能な合成ベンチマークフレームワークを構築すること。
• 観測過学習下で、特に過パラメータ化されたポリシーにおいて、暗黙の正則化がRLで生じるかどうかを調査すること。
• 標準的な一般化指標（例：ノルム、マージン）が、観測過学習下におけるRL一般化性能を予測できるかを評価すること。
• 観測過学習の文脈において、教師あり学習の一般化境界がRLに適用可能かどうかを検証し、その境界のゆるさを示すこと。

提案手法

• 固定された基本MDPの観測関数のみを変更することで、MDPの族を構築する。これにより、ダイナミクスと報酬構造を維持する。
• 線形ポリシーを用いた線形二次調節器（LQR）を用い、勾配降下法による一般化を解析的に研究する。
• MLPおよび畳み込みニューラルネットワーク（CNN）ポリシーを用いて、Gymの古典的環境（例：CartPole、LunarLander）にフレームワークを適用し、非線形設定を研究する。
• 異なる観測分布でエージェントを学習し、未観測の観測バージョンに対してゼロショット性能を評価することで、一般化性能を測定する。
• 重みノルムのダイナミクスとマージン分布を測定することで、学習過程における暗黙の正則化を評価し、標準的なSLスタイルの一般化境界と比較する。
• 一般化指標（例：スペクトル・フロベニウスノルム、初期値からの距離）を緩和し、観測過学習状態におけるテスト性能との相関関係を検証する。

実験結果

リサーチクエスチョン

• RQ1 基本的なMDPダイナミクスは固定されているが、観測分布が変化する場合に、ゼロショット一般化性能が著しく低下する観測過学習が生じるか？
• RQ2 特に過パラメータ化されたニューラルネットワークを用いた場合、観測過学習下でどの程度暗黙の正則化が生じるか？
• RQ3 教師あり学習から得られる標準的な一般化指標（例：重みノルム、マージン分布）は、観測過学習下におけるRL一般化性能を予測できるか？
• RQ4 アーキテクチャの選択（例：MLP対CNN）や観測モダリティ（例：エッジ検出、部分的遮断）が、観測過学習下での一般化に与える影響は何か？
• RQ5 教師あり学習の一般化境界は、RLにおける観測過学習の文脈でもタイトで有用なままであるか？

主な発見

• 線形ポリシーと勾配降下法を用いたLQR設定では、正確な最適化が行われても、観測過学習下では一般化ギャップが必然的に生じる。
• CoinRunでは、過パラメータ化されたMLPが、レベルごとにMDPダイナミクスが変化する中でも一般化性能が向上しており、暗黙の正則化が一般化を支援していることを示唆している。
• ソニック・ザ・ヘッジホッグでスコアボードを遮断したことで、テスト性能が10%向上（NatureCNNでは1052から1141、IMPALAでは1130から1250に向上）し、エージェントが不顕著な視覚的特徴に過学習していることが示された。
• 原始的な重みノルムは学習過程で単調に増加し、一般化を予測できないため、標準的なSLスタイルのノルムベースの境界はRLではあまりにゆるいことが示された。
• マージン分布は学習終了後に固定された形に収束するが、その一般化性能との相関関係はSLほど強くなく、RLでは異なるインダクティブバイアスが存在することが示唆された。
• スペクトル・フロベニウスノルムおよび初期値からの距離指標は、原始的なノルムよりも一般化性能との相関が高かったが、依然としてRLにおける過パラメータ化効果を完全に説明することはできなかった。