[論文レビュー] Neural Episodic Control with State Abstraction

Zhuo Li, Derui Zhu+7 more|arXiv (Cornell University)|Jan 27, 2023

Reinforcement Learning in Robotics被引用数 5

ひとこと要約

本稿では、グリッドベースの状態抽象化を用いてスケーラブルなエピソード記憶の保存とマルチステップ状態遷移解析を可能にする、サンプル効率の高い深層強化学習手法であるNeural Episodic Control with State Abstraction (NECSA) を提案する。連続的状態を離散的グリッドに抽象化し、スコアベースの状態評価による内部報酬を測定することで、OpenAI Gym の MuJoCo および Atari 環境において、最先端のエピソード制御手法よりも高いサンプル効率を達成する。

ABSTRACT

Existing Deep Reinforcement Learning (DRL) algorithms suffer from sample inefficiency. Generally, episodic control-based approaches are solutions that leverage highly-rewarded past experiences to improve sample efficiency of DRL algorithms. However, previous episodic control-based approaches fail to utilize the latent information from the historical behaviors (e.g., state transitions, topological similarities, etc.) and lack scalability during DRL training. This work introduces Neural Episodic Control with State Abstraction (NECSA), a simple but effective state abstraction-based episodic control containing a more comprehensive episodic memory, a novel state evaluation, and a multi-step state analysis. We evaluate our approach to the MuJoCo and Atari tasks in OpenAI gym domains. The experimental results indicate that NECSA achieves higher sample efficiency than the state-of-the-art episodic control-based approaches. Our data and code are available at the project website\footnote{\url{https://sites.google.com/view/drl-necsa}}.

研究の動機と目的

• 過去の経験をより効果的に活用することで、深層強化学習（DRL）のサンプル非効率性を解消すること。
• 状態遷移やトポロジカル類似性といった潜在的な意味的特徴を十分に活用できない既存のエピソード制御手法の限界を克服すること。
• 状態抽象化による正確な一致照合を用いてkNNベースの類似性検索に代えることで、エピソードデータのスケーラブルな保存および検索を可能にすること。
• 単一状態ではなくマルチステップ状態遷移パターンの分析により、方策の一般化を向上させること。
• 報酬の信頼度スコアを用いた新しい内部状態測定法を提案し、方策最適化を強化すること。

提案手法

• 各次元ごとに均等な区間分割を用いて連続的状態空間を有限のグリッドに離散化し、各状態に一意の抽象IDを割り当てる。
• 過去の経験を抽象状態IDでインデックス化したエピソード記憶に保存し、kNN検索のO(N)から正確一致照合によるO(1)の検索を可能にすることで、高速なデータ取得を実現する。
• 連続する状態シーケンスを固定された抽象パターンとして扱い、マルチステップの状態遷移を分析することで、一般化性能を向上させる。
• 報酬の信頼度スコアを用いた新しい内部状態測定法を導入し、Q値に依存するのではなく、抽象パターン全体における歴史的影響を統合的に評価する。
• 外的報酬と内部スコアを組み合わせて方策最適化を加速し、スコアが抽象状態行動ペアが長期的リターンに与える全体的影響を反映するようにする。
• 各抽象パターン内に含まれるコンcrete状態の平均Q値を用いて価値を推定し、マルチステップパターンの直接計算を回避する。

実験結果

リサーチクエスチョン

• RQ1 状態抽象化は、深層強化学習におけるエピソード記憶のスケーラビリティと効率性を向上させ得るか？
• RQ2 状態遷移のマルチステップ分析は、単一状態分析に比べて、より優れた方策一般化をもたらすか？
• RQ3 報酬の信頼度スコアは、抽象化されたエピソードパターンに対するQ値よりも包括的な内部報酬信号として機能できるか？
• RQ4 標準ベンチマークにおいて、NECSAは最先端のエピソード制御ベースのDRL手法に比べて、どの程度サンプル効率が優れているか？
• RQ5 抽象化されたエピソード記憶は、トポロジカル類似性や遷移ダイナミクスといった潜在的な意味的特徴をどの程度捉えることができるか？

主な発見

• NECSA は、OpenAI Gym の MuJoCo および Atari 環境において、最先端のエピソード制御ベースのアプローチよりも高いサンプル効率を達成する。
• グリッドベースの状態抽象化の導入により、エピソード記憶の検索複雑度が O(N) から O(1) に低下し、スケーラビリティが著しく向上する。
• 報酬の信頼度スコア（NECSA_Scores）を用いた状態行動ペアの測定は、Q値（NECSA_Q-values）を用いるよりも高いサンプル効率を示し、提案された内部報酬指標の有効性を実証する。
• マルチステップ状態遷移の分析により、長期的な依存関係や方策失敗の根本的要因を捉えることができ、一般化性能が向上する。
• 抽象化されたエピソード記憶は、トポロジカル類似性や遷移パターンの同定といった高度な意味的解析を可能にし、kNNベースのエピソード制御では以前は不可能だった分析を実現する。
• NECSA は非常にスケーラブルであり、さまざまなDRLアルゴリズムやタスクに統合可能であるため、広範な適用可能性を示している。