[論文レビュー] The Quest for a Common Model of the Intelligent Decision Maker

Richard S. Sutton|arXiv (Cornell University)|Feb 26, 2022

Cognitive Science and Mapping被引用数 4

ひとこと要約

本論文は、行動、観察、報酬を通じて世界と相互作用するエージェントに焦点を当てた、統合的で多分野にまたがる知能的意思決定者のモデルを提案する。このモデルは、知覚、意思決定、内部評価（価値関数）、遷移モデル（世界モデル）という4つのコアな構成要素を有する。主な貢献は、心理学、神経科学、人工知能、経済学、制御工学の分野を横断する標準化された用語法と構造的枠組みを提供し、より深い分野間連携を可能にすることにある。

ABSTRACT

The premise of the Multi-disciplinary Conference on Reinforcement Learning and Decision Making is that multiple disciplines share an interest in goal-directed decision making over time. The idea of this paper is to sharpen and deepen this premise by proposing a perspective on the decision maker that is substantive and widely held across psychology, artificial intelligence, economics, control theory, and neuroscience, which I call the "common model of the intelligent agent". The common model does not include anything specific to any organism, world, or application domain. The common model does include aspects of the decision maker's interaction with its world (there must be input and output, and a goal) and internal components of the decision maker (for perception, decision-making, internal evaluation, and a world model). I identify these aspects and components, note that they are given different names in different disciplines but refer essentially to the same ideas, and discuss the challenges and benefits of devising a neutral terminology that can be used across disciplines. It is time to recognize and build on the convergence of multiple diverse disciplines on a substantive common model of the intelligent agent.

研究の動機と目的

• 知能的意思決定に関する共通の概念的枠組みを同定・形式化し、個別の学問分野を超えること。
• 心理学、神経科学、人工知能、経済学、制御工学の分野における用語法と概念的構造の断片化を是正すること。
• 共通の構造的・機能的構成要素を強調する、中立的かつ広く適用可能な知能的エージェントのモデルを確立すること。
• エージェント設計の共通語彙と基準点を提供することで、分野横断的研究を促進すること。
• 多様な分野からの知見を統合を促進するため、多くの既存理論やシステムに共通するコアなモデルを特定すること。

提案手法

• 行動、観察、報酬、状態、目的の5つの主要な信号を有する一般化されたエージェント・ワールド相互作用フレームワークを提案する。
• エージェントの4つの内部構成要素を特定する：知覚（観察を内部状態にマッピング）、意思決定（方策）、内部評価（価値関数）、遷移モデリング（世界モデル）。
• これらの構成要素は、分野ごとに独立して開発されてきたが、本質的に機能的に同等であると主張する。
• 学問的バイアスを回避し、分野横断的思考を促進するために、中立的な用語「エージェント」「ワールド」「行動」「観察」「報酬」を導入する。
• 心理学（トールマンの認知的マップ）、神経科学（ドーパミンが報酬予測誤差を表す）、制御理論、強化学習の歴史的および現代的例を用いて、このモデルの広範な適用可能性を検証する。
• 新規なエージェント設計の基盤的基準点としてこのモデルを位置づけ、革新がこの共通構造の拡張または変更としてどのように理解できるかを強調する。

実験結果

リサーチクエスチョン

• RQ1 知能的意思決定を研究する多様な分野に共通する、コアな構造的・機能的構成要素は何か？
• RQ2 意思決定科学における概念的枠組みを統一するために、中立的かつ分野横断的な用語法をどのように開発できるか？
• RQ3 心理学、神経科学、人工知能、制御工学の既存理論が、知能的エージェントの共通モデルへどの程度収束しているか？
• RQ4 提案された共通モデルの限界は何か？また、なぜ内発的動機づけや補助的サブタスクといった機能を除外する必要があるのか？
• RQ5 この共通モデルは、新規なエージェントアーキテクチャの比較・拡張のための標準基準としてどのように機能できるか？

主な発見

• 実際には、広く共有された、多分野にまたがる知能的エージェントのモデルが存在するが、まだ公式に認識されたり標準化されたりしていない。
• 知覚、方策、価値関数、遷移モデルという4つの構成要素は、心理学、神経科学、人工知能、制御工学の分野で独立して開発・使用されており、深い概念的一致を示している。
• 神経科学における報酬予測誤差信号（ドーパミン）は、強化学習における価値関数誤差と直接的に一致し、分野を越えた機能的同等性を示している。
• 遷移モデル、すなわち「ワールドモデル」は、認知心理学（トールマンの認知的マップ）、神経科学（海馬機能）、現代のディープラーニング（ベンジオ、ルカン、シュミドフューバー）の理論において中心的役割を果たしている。
• この共通モデルは、エージェント設計の比較に安定的かつ最小限の枠組みを提供し、分野横断的進展を加速させる可能性を秘めている。
• このモデルは単純であるが、網羅的ではない。内発的動機づけや補助的サブタスクといった機能は、普遍性を保ち、学問的バイアスを避けるために除外されている。