[論文レビュー] Never Forget: Balancing Exploration and Exploitation via Learning Optical Flow

Hsuan-Kung Yang, Po-Han Chiang+3 more|arXiv (Cornell University)|Jan 24, 2019

Reinforcement Learning in Robotics参考文献 35被引用数 7

ひとこと要約

本稿では、光流の推定誤差を用いて状態の新規性を測定することで、深層強化学習における探索のためのフローベースト内在的好奇心モジュール（FICM）を提案する。視覚的運動の一貫性を追跡するために光流を利用する事で、FICMは深刻な記憶の消失（catastrophic forgetting）を軽減し、報酬が疎である環境でも効率的に探索でき、時間経過に伴う性能の低下なしに安定した性能を維持できる。

ABSTRACT

Exploration bonus derived from the novelty of the states in an environment has become a popular approach to motivate exploration for deep reinforcement learning agents in the past few years. Recent methods such as curiosity-driven exploration usually estimate the novelty of new observations by the prediction errors of their system dynamics models. Due to the capacity limitation of the models and difficulty of performing next-frame prediction, however, these methods typically fail to balance between exploration and exploitation in high-dimensional observation tasks, resulting in the agents forgetting the visited paths and exploring those states repeatedly. Such inefficient exploration behavior causes significant performance drops, especially in large environments with sparse reward signals. In this paper, we propose to introduce the concept of optical flow estimation from the field of computer vision to deal with the above issue. We propose to employ optical flow estimation errors to examine the novelty of new observations, such that agents are able to memorize and understand the visited states in a more comprehensive fashion. We compare our method against the previous approaches in a number of experimental experiments. Our results indicate that the proposed method appears to deliver superior and long-lasting performance than the previous methods. We further provide a set of comprehensive ablative analysis of the proposed method, and investigate the impact of optical flow estimation on the learning curves of the DRL agents.

研究の動機と目的

• 深層強化学習のための好奇心ベース探索手法における深刻な記憶の消失（catastrophic forgetting）を解消すること。
• 報酬が疎で次々に同じ状態を再訪問する高次元の環境における探索効率を向上させること。
• 訪問済みの状態の記憶をよりよく保持する、より強力な内在的報酬メカニズムを開発すること。
• 状態の新規性の代理指標として光流の推定誤差を用いることで、探索と活用のバランスを取ること。

提案手法

• 連続するフレーム間の光流予測誤差に基づいて内在的報酬を計算するFICMという好奇心モジュールを提案する。
• 状態 $ S_t $ と $ S_{t+1} $ 間の運動を推定するためのフローピドクターを用い、その誤差を新規性のシグナルとして利用する。
• 2つのバリエーションを採用：FICM-S（1フレームの光流予測器を使用）とFICM-C（より高い耐性を得るためのフローカンシステンシー損失を用いる）。
• ViZDoomのような報酬が疎な環境で、A3Cアルゴリズムに光流に基づく内在的報酬を統合してエージェントを学習させる。
• 視覚的運動の一貫性の不一致を検出するために光流を活用し、フレーム予測よりも信頼性の高い方法で、新規または既に訪問済みの状態を特定する。
• 次フレーム予測に依存するのを減らすことで、標準的なICMが抱える誤りや記憶の消失を低減する。

実験結果

リサーチクエスチョン

• RQ1 光流の推定誤差は、深層強化学習における状態の新規性を測るより安定的で信頼性の高いシグナルとして機能できるか？
• RQ2 従来のフレーム予測に基づく手法と比較して、光流を用いることで、好奇心駆動探索における深刻な記憶の消失が軽減されるか？
• RQ3 報酬が疎な環境における探索効率と長期的性能の観点から、提案されたFICM手法はICMおよびRNDと比較してどのように異なるか？
• RQ4 長期間にわたる学習期間における、光流が探索済み状態の安定性と記憶性に与える影響は何か？
• RQ5 FICMは、パラメータ数を減らしてもICMと同等の性能を発揮し、記憶の消失による性能低下を回避できるか？

主な発見

• FICMを用いたエージェントは、報酬が疎でない環境でも非常に疎な環境でも、1000万ステップを過ぎた後も性能の低下を示さない。これに対してICMは、1000万ステップを過ぎると深刻な記憶の消失を経験する。
• FICM-SおよびFICM-Cの両バリエーションは、ICMおよびICM-pixelsを上回る安定的かつ優れた性能を発揮する。FICM-SはICMが使用するパラメータの55.89%しか使用しない。
• 内在的報酬の推移を示すプロットから、FICMは以前に訪問済みの状態を低新規性として正しく識別し、繰り返し探索を回避している。一方、ICMは長期間の学習後、古い状態を新規と誤って分類してしまう。
• FICM-CおよびFICM-Sのパラメータ数は、ICMよりも顕著に少ない（それぞれ78.84%および55.89%）。それにもかかわらず、性能は向上している。
• ICM-pixelsは、パラメータ数が少ない（ICMの43.53%）にもかかわらず、非常に疎な報酬環境では失敗しており、ピクセルレベルの予測の限界を示している。
• アブレーション解析により、光流の推定が記憶性を高め、記憶の消失を低減することが確認され、探索における生涯学習が可能になった。