[論文レビュー] The Efficiency of Human Cognition Reflects Planned Information Processing

Mark K. Ho, David Abel+3 more|arXiv (Cornell University)|Feb 13, 2020

AI-based Problem Solving and Planning参考文献 33被引用数 13

ひとこと要約

本稿では、人間の認知が計画的な情報処理を反映しており、個々の人は行動だけでなく「いつ」「何を」計画するのかも戦略的に認知リソースを割り当てることで計画していると提唱する。これは、タスク報酬と情報理論的計画コストのバランスを取る再帰的ベルマン目的関数として形式化されたメタ推論問題として定式化される。実験では反応時間がこのモデルの予測と一致しており、人々が部分的計画を通じて計画コストを適応的に管理していることが示され、人間の意思決定における制限付き合理主義の規範的説明を支持する。

ABSTRACT

Planning is useful. It lets people take actions that have desirable long-term consequences. But, planning is hard. It requires thinking about consequences, which consumes limited computational and cognitive resources. Thus, people should plan their actions, but they should also be smart about how they deploy resources used for planning their actions. Put another way, people should also "plan their plans". Here, we formulate this aspect of planning as a meta-reasoning problem and formalize it in terms of a recursive Bellman objective that incorporates both task rewards and information-theoretic planning costs. Our account makes quantitative predictions about how people should plan and meta-plan as a function of the overall structure of a task, which we test in two experiments with human participants. We find that people's reaction times reflect a planned use of information processing, consistent with our account. This formulation of planning to plan provides new insight into the function of hierarchical planning, state abstraction, and cognitive control in both humans and machines.

研究の動機と目的

• 人間が単に行動を計画するだけでなく、計画そのものも行う理由を理解すること。計画には時間的・記憶的コストが伴うことに気づくこと。
• タスク報酬と計画コストのバランスを取る再帰的意思決定問題として、メタ計画を形式化すること。
• 人々の反応時間が、問題解決中に計画的かつコストを意識した情報処理の使用を反映しているかどうかを検証すること。
• 完全な行動計画よりも、さまざまな詳細度を持つ部分的計画（partial plans）が人間の行動をよりよく説明できるかどうかを評価すること。
• 階層的計画と状態の抽象化が、認知的コストを管理する必要からどのように生じるかを探索すること。

提案手法

• タスク報酬と情報理論的計画コストの両方を組み込んだ再帰的ベルマン目的関数として、メタ計画を形式化すること。
• 部分的計画間の遷移のコストを測定するために、カルバック・ライブラー発散を用いること。これは、計画の更新に伴う認知的負荷を表す。
• 部分的計画における状態-行動分布の符号化コストを用いて計画コストをモデル化し、情報理論を用いて計算的負荷を定量化すること。
• 2次元迷路ナビゲーションタスクにこのモデルを適用し、さまざまなタスク構造下での最適な部分的計画を生成すること。
• 混合効果線形モデルを用いて、部分的計画の相違度が人間実験における反応時間に予測できるかどうかを検証すること。
• 部分的計画の類似度に基づいて状態表現の階層的クラスタリングを実施し、出現するオプションに類似した構造を明らかにすること。

実験結果

リサーチクエスチョン

• RQ1 人々は計画を行う際に、認知的リソースをどのように適応的に割り当てており、計画のタイミングや内容の選択にどのような要因が影響するか？
• RQ2 反応時間が単に行動計画の結果であるのではなく、計画的で情報処理に基づいた行動を反映している程度はどの程度か？
• RQ3 情報理論的計画コストに基づく形式的モデルが、動的計画タスクにおける人間の行動を予測できるか？
• RQ4 さまざまな詳細度を持つ部分的計画（詳細度が異なる計画）は、計画コストを最小化する必要からどのように生じるか？
• RQ5 報酬と認知的コストのトレードオフから、計画の構造的特性（例：階層性、抽象化）はどのように生じるか？

主な発見

• 実験1では、部分的計画の相違度が迷路ナビゲーションにおける反応時間の有意予測要因となり、行動計画に依存するモデルを上回った。
• 実験2では、予期しないテレポートーション後の参加者の反応時間が、テレポート前後での部分的計画間の相違度によって最もよく説明された。行動計画コストではなく、計画の更新に伴うコストが関係していた。
• 計画の更新に伴う認知的コストを反映する「部分的計画相違度」は、テレポート距離を制御しても反応時間の有意予測要因であった。
• 本モデルが導く最適な部分的計画は、経路長やA*のノード数といった代替計画指標よりも、人間の行動をよりよく説明できた。
• 部分的計画の類似度に基づく状態の階層的クラスタリングにより、階層強化学習におけるオプションに類似したクラスタが得られ、抽象化の自然な出現が示唆された。
• テレポート距離を予測変数に含めても、部分的計画相違度の有意性は消失せず、計画コストが独立的かつ重要な要因であることが示された。