[論文レビュー] Is prioritized sweeping the better episodic control?

Johanni Brea|arXiv (Cornell University)|Nov 20, 2017

Neural dynamics and brain function参考文献 9被引用数 4

ひとこと要約

この論文は、決定的および確率的環境において、サンプル効率の観点で、エピソード制御よりも優れた性能を示すプライオリタイズドスイーピングの有効性を示している。計算コストとメモリ使用量はエピソード制御と同等であり、エピソード制御は決定的木構造MDPにおける特定の形のプライオリタイズドスイーピングと等価であるが、プライオリタイズドスイーピングは一般化性能が高く、収束が速いため、人工的および生物学的システムにおけるエピソード記憶と意思決定の統合のための優れたアルゴリズム的基盤であると考えられる。

ABSTRACT

Episodic control has been proposed as a third approach to reinforcement learning, besides model-free and model-based control, by analogy with the three types of human memory. i.e. episodic, procedural and semantic memory. But the theoretical properties of episodic control are not well investigated. Here I show that in deterministic tree Markov decision processes, episodic control is equivalent to a form of prioritized sweeping in terms of sample efficiency as well as memory and computation demands. For general deterministic and stochastic environments, prioritized sweeping performs better even when memory and computation demands are restricted to be equal to those of episodic control. These results suggest generalizations of prioritized sweeping to partially observable environments, its combined use with function approximation and the search for possible implementations of prioritized sweeping in brains.

研究の動機と目的

• プライオリタイズドスイーピングがサンプル効率および計算コストの観点でエピソード制御を上回るかどうかを調査すること。
• エピソード制御が特定の環境（決定的木構造MDP）において、ある種のプライオリタイズドスイーピングと理論的に同等であるかどうかを特定すること。
• プライオリタイズドスイーピングを部分的に観測可能な環境や確率的環境へ一般化可能かどうかを検討すること。
• プライオリタイズドスイーピングが脳における関数近似や神経的実装に与える影響を検討すること。
• プライオリタイズドスイーピングが強化学習におけるエピソード制御のより効果的で一般化可能な代替手段として機能できるかどうかを評価すること。

提案手法

• エピソード制御のメモリ制約に合わせて、各エピソード終了時にモデルをリセットするプライオリタイズドスイーピングの変種を提案する。
• 後向き探索を通じたプライオリティバックアップを用いて、報酬経験から知識を伝搬するエピソード制御と同様に、価値更新を効率的に伝搬する。
• 先行状態に与える影響の大きさに基づいて、価値更新の対象となる状態を選択するための優先度キューを採用する。
• 表形式の環境（決定的および確率的木構造MDP、迷路環境など）を用いて、性能を比較する。
• Q学習とプライオリタイズドスイーピングの両方を、同じハイパーパrameterを共有することで、公平な比較を実現する。
• モデル学習（遷移および報酬テーブル）が効率的な価値更新を可能にする役割を分析し、エピソード制御が保存された経路に依存するのと対比する。

実験結果

リサーチクエスチョン

• RQ1 決定的木構造MDPにおいて、エピソード制御はある種のプライオリタイズドスイーピングと理論的に同等であるか？
• RQ2 一般の決定的および確率的MDPにおいて、プライオリタイズドスイーピングはエピソード制御を上回るサンプル効率を達成するか？
• RQ3 エピソード制御が困難をきたす可能性がある部分観測可能な環境へ、プライオリタイズドスイーピングを一般化できるか？
• RQ4 プライオリタイズドスイーピングが関数近似および脳における神経的実装に与える影響は何か？
• RQ5 プライオリタイズドスイーピングは、エピソード記憶に基づく意思決定の生物学的に妥当なメカニズムとして機能できるか？

主な発見

• 決定的木構造MDPでは、サンプル効率、メモリ使用量、計算複雑度の観点で、エピソード制御は特定の形のプライオリタイズドスイーピングと数学的に同等である。
• 一般の決定的および確率的MDPにおいて、両手法が同一のメモリおよび計算予算に制限された状態でも、プライオリタイズドスイーピングはエピソード制御を上回るサンプル効率を達成する。
• 提案されたモデルリセットを施したプライオリタイズドスイーピングの変種は、計算フットプリントをエピソード制御と同等に保ちながら、学習速度と最適方策への収束性において顕著に優れている。
• プライオリタイズドスイーピングはモデル学習に依存するため、分岐する状態遷移を介したより効果的な価値伝搬が可能であり、エピソード制御はこれを効果的に活用できない。
• 結果から、プライオリタイズドスイーピングはサンプル効率が優れているだけでなく、特に1つの状態が複数の先行状態を持つ環境において、エピソード制御よりも一般化性能に優れていることが示唆される。
• 本研究では、海馬のシャープ・ウェーブ・リプライ（sharp wave ripples）における、新しい経路の逆方向再再生が、プライオリタイズドバックワードプランニングを反映している可能性のある神経的基盤を同定した。