[論文レビュー] Predictive representations: building blocks of intelligence

Wilka Carvalho, Momchil S. Tomov+3 more|arXiv (Cornell University)|Feb 9, 2024

Cognitive Science and Education Research被引用数 4

ひとこと要約

本論文は、予測表現——特に後続表現（SR）およびその一般化——が、人工的および生物学的システムにおける効率的で柔軟かつスケーラブルな意思決定を可能にする知能の基本的構成要素であると提唱する。タスク関連の予測をキャッシュすることで、これらの表現は計算制約下でも迅速な推論を可能にし、探索、転移学習、階層的制御、神経計算における役割について、理論的・AI分野・認知科学・神経科学的根拠が強い。

ABSTRACT

Adaptive behavior often requires predicting future events. The theory of reinforcement learning prescribes what kinds of predictive representations are useful and how to compute them. This paper integrates these theoretical ideas with work on cognition and neuroscience. We pay special attention to the successor representation (SR) and its generalizations, which have been widely applied both as engineering tools and models of brain function. This convergence suggests that particular kinds of predictive representations may function as versatile building blocks of intelligence.

研究の動機と目的

• 人工的および生物学的システムにおける知的な行動のための効率的で再利用可能なコンponentsとしての予測表現を特定・形式化すること。
• 共通の質問に対する答えをキャッシュすることで、知的システムにおける柔軟性と効率性のトレードオフを緩和する予測表現を提案すること。
• 強化学習、認知科学、神経科学の知見を統合し、脳が意思決定、ナビゲーション、記憶に同様の予測表現を用いている可能性を示すこと。
• 一般化された予測表現——たとえば後続特徴（successor features）や後続モデル（successor models）——が、転移学習、階層的計画、マルチエージェント協調において強力な能力を実現できることを示すこと。
• 生物学的に妥当な学習アルゴリズムをこれらの表現に提供し、ドーパミンシグナルや海馬リプレイといった神経メカニズムと結びつけること。

提案手法

• 特定の予測クエリに対するキャッシュされた解として予測表現を形式化し、完全な予測モデルとは区別することで、柔軟性と効率性のバランスを図る。
• 後続表現（SR）を定義し、方策に従う場合の将来状態訪問確率の期待値をエンコードする行列として提示し、線形代数を用いた高速な価値関数推論を可能にする。
• SRを後続特徴（SFs）に拡張し、将来状態の任意の特徴に対する予測を一般化することで、報酬関数が異なるタスク間での転移学習を可能にする。
• SRの確率的一般化としての後続モデル（SMs）を提案し、将来状態分布からのサンプリングを可能にすることで、より豊かな計画と推論を可能にする。
• 一般化された方策改善（GPI）を用いて、SFsの重み付き組み合わせにより複数の行動を統合し、適応的行動選択を実現する。
• オプションキーボードフレームワークを導入し、SRを用いてオプションを連結することで、効率的なオプション発見と転送を可能にする階層的強化学習を実現する。

Figure 1: Algorithmic solutions to the RL problem . An agent solving a three-armed maze (bottom) can adopt different classes of strategies (top). Model-based strategies (left) learn an internal model of the environment, including the transition function ( $T$ ), the reward function ( $R$ ), and (opt

実験結果

リサーチクエスチョン

• RQ1 強化学習における効率的で柔軟な意思決定に最も効果的な予測表現は何か？
• RQ2 標準的なSRを超えて、予測表現をどのように一般化すれば、転移学習、階層的制御、マルチタスク学習を支援できるか？
• RQ3 脳におけるSRやSFsのような予測表現を実装する神経メカニズムは何か？ そして、それらは観察された神経活動パターンとどのように関連しているか？
• RQ4 ドーパミンニューロンは、予測誤差をベクトル値としてどのように符号化し、後続特徴やモデルの学習を支援するか？
• RQ5 予測表現が、人工知能、認知科学、神経科学を統合し、知的行動を説明するのにどの程度有効か？

主な発見

• 後続表現（SR）は、将来状態訪問の期待値をキャッシュすることで、完全な予測モデルと比較して計算コストを著しく削減し、高速な価値関数推論を可能にする。
• 後続特徴（SFs）は、将来状態の予測と報酬設計を分離することで、報酬関数が異なるタスク間での転移学習を可能にし、価値関数の効率的再重み付けを実現する。
• 後続モデル（SMs）はSRを将来状態の確率的予測に一般化し、サンプリングベースおよび評価ベースの推論を両方可能にすることで、計画と探索を強化する。
• fMRI研究の神経データから、グラフ構造の環境で学習されたSRモデルが予測する順序的な神経活動が、記憶想起時のヒトの神経活動と一致しており、SRの神経的基盤を支持する。
• ドーパミンニューロンの集合は、感覚的特徴の予測誤差を含むベクトル値の予測誤差を符号化しており、これにより後続特徴の学習が可能であり、非スカラーなドーパミン反応を説明できる。
• 記憶システムにおける時間的文脈モデル（TCM）は、SRの生物学的に妥当な推定器として解釈でき、予測表現を通じてエピソード記憶と意思決定を結びつける。

Figure 2: The successor representation (SR). We present (a) a schematic of an environment where the agent is a red box at state $s_{13}$ and the goal is a green box at state $s_{5}$ . In general, an SR $M^{\pi}(s,\tilde{s})$ (Eq. 13 ) describes the discounted state occupancy for state $\tilde{s}$ wh