[論文レビュー] Better transfer learning with inferred successor maps

Tamás J. Madarász|arXiv (Cornell University)|Jun 18, 2019

Machine Learning and Algorithms参考文献 51被引用数 15

ひとこと要約

本稿では、報酬関数の非パラメトリッククラスタリングを通じて後続マップを推論することで、後続表現（SR）を強化する新しい転移学習フレームワークを提案する。この手法により、変化する報酬に効率的に適応可能となる。柔軟なSRマップの集合に対するアンモライズド推論と類似度ベースのポリシー再取得を用いることで、明示的なタスク境界が存在しない状況下でも、既知の変化および無信号の報酬変化においてベースラインを上回る性能を発揮する。さらに、海馬の「フレッケリング」やスプリッターセルといった神経生物学的現象を説明可能である。

ABSTRACT

Humans and animals show remarkable flexibility in adjusting their behaviour when their goals, or rewards in the environment change. While such flexibility is a hallmark of intelligent behaviour, these multi-task scenarios remain an important challenge for machine learning algorithms and neurobiological models alike. We investigated two approaches that could enable this flexibility: factorized representations, which abstract away general aspects of a task from those prone to change, and nonparametric, memory-based approaches, which can provide a principled way of using similarity to past experiences to guide current behaviour. In particular, we combine the successor representation (SR) that factors the value of actions into expected outcomes and corresponding rewards with evaluating task similarity through clustering the space of reward functions. The proposed algorithm inverts a generative model over tasks, and dynamically samples from a flexible number of distinct SR maps while accumulating evidence about the current task context through amortized inference. It improves SR's transfer capabilities and outperforms competing algorithms and baselines in settings with both known and unsignalled rewards changes. Further, as a neurobiological model of spatial coding in the hippocampus, it explains important signatures of this representation, such as the "flickering" behaviour of hippocampal maps, and trajectory-dependent place cells (so-called splitter cells) and their dynamics. We thus provide a novel algorithmic approach for multi-task learning, as well as a common normative framework that links together these different characteristics of the brain's spatial representation.

研究の動機と目的

• 報酬関数が変化する状況において、特に明確なタスク境界が存在しない場合の強化学習における効率的転移学習の課題に対処すること。
• 主な報酬シフト後に効果的な転移を妨げる標準的後続表現のポリシー依存性を克服すること。
• 海馬における実験的発見（例：フレッキングマップや経路依存的場所細胞）を説明可能な神経科学的根拠に基づいたフレームワークを構築すること。
• 非パラメトリックで記憶に基づく推論と因子化表現を統合し、記憶容量と計算コストが上限に制限された継続的学習を可能にすること。

提案手法

• タスクの生成モデルを用いて、後続マップの集合に対するアンモライズド推論を通じて、現在のタスク状況を逆方向に推論する。
• カーネルベースの拡散表現を用いて報酬関数の空間をクラスタリングし、過去のポリシーの類似度ベースの検索を可能にする。
• 価値関数を後続表現（SR）とそれに対応する報酬マップ（CR）の混合として表現し、タスク類似度から重みを推論する。
• 現在の報酬関数に応じて、非パラメトリックベイジアンアプローチを用いて可変数のSRマップから動的にサンプリングする。
• 畳み込み型で拡散された報酬表現を適用し、固定されたポリシー自己エントロピーを仮定しない状態で、報酬関数間の滑らかな類似度推定を可能にする。
• 経験リプレイをSR固有のバッファからサンプリングすることで統合し、継続的学習のためのクラスタリングおよび推論プロセスと整合させる。

実験結果

リサーチクエスチョン

• RQ1 報酬関数に大きな、無信号の変化が生じた場合でも、深刻な忘却を引き起こさずに、後続表現をどのようにしてより頑健に保てるか。
• RQ2 報酬関数の非パラメトリッククラスタリングにより、タスク類似度に基づくポリシー再利用が可能となり、転移学習が向上するか。
• RQ3 期待される未来状態の共有で因子化された表現（SR）とタスク固有の報酬マップ（CR）を組み合わせた表現が、標準的SRよりも継続的学習をより効果的に支援できるか。
• RQ4 このフレームワークが、海馬の「フレッキング」や空間的符号化におけるスプリッターセルといった神経生物学的サインを説明できるか。
• RQ5 報酬関数推論における不確実性が、表現切り替えのダイナミクスおよび行動的経路にどのように影響を与えるか。

主な発見

• 本稿で提案するベイジアン後続表現（BSR）は、既知の報酬変化および無信号の報酬変化を伴うナビゲーションタスクにおいて、標準的SRおよび先行ベースラインと比較して、顕著に優れた転移性能を発揮する。
• BSRは、類似した報酬関数をクラスタリングし、現在のタスク類似度に応じて適切なSRマップを動的に選択することで、効率的なポリシー再利用を実現する。
• モデルは、タスク識別における不確実性に起因する海馬マップの「フレッキング」や、動的マップ切り替えに起因する経路依存的場所細胞（スプリッターセル）といった、重要な神経生物学的現象を再現する。
• モデルは、現在の報酬関数に関する不確実性が高まるほど、マップのフレッキングレートが上昇すると予測する。また、マップ選択における推論誤差により、非最適な経路が生じるとも予測する。
• 経験された報酬空間の多様性が増すに従い、アクティブな後続マップの数が増加すると予測される。これは、動的かつ適応的表現能力を持つことを示唆する。
• モデルは、SRマップ上の混合重みを表す神経基盤として補体前頭前野を、CRマップ表現の神経基盤としてcingulate cortex（楔前回）を同定する。