[論文レビュー] Computational evolution of decision-making strategies

Peter D. Kvam, Joseph Cesario+3 more|arXiv (Cornell University)|Sep 18, 2015

Evolutionary Game Theory and Cooperation参考文献 15被引用数 11

ひとこと要約

本論文は、環境の難易度に応じて意思決定戦略が人工選択によってどのように出現するかを模擬する計算的進化フレームワークを提示する。複雑な環境では、より大きな脳と逐次サンプリング戦略が好まれるのに対し、単純な環境では、明示的な複雑さコストが存在しないままでも、より小さな脳とヒューリスティックに似た戦略へと進化する。これは、変異負荷が脳サイズに及ぼす主要な制約であることを示している。

ABSTRACT

Most research on adaptive decision-making takes a strategy-first approach, proposing a method of solving a problem and then examining whether it can be implemented in the brain and in what environments it succeeds. We present a method for studying strategy development based on computational evolution that takes the opposite approach, allowing strategies to develop in response to the decision-making environment via Darwinian evolution. We apply this approach to a dynamic decision-making problem where artificial agents make decisions about the source of incoming information. In doing so, we show that the complexity of the brains and strategies of evolved agents are a function of the environment in which they develop. More difficult environments lead to larger brains and more information use, resulting in strategies resembling a sequential sampling approach. Less difficult environments drive evolution toward smaller brains and less information use, resulting in simpler heuristic-like strategies.

研究の動機と目的

• 意思決定戦略が事前に仮定されるのではなく、環境的制約に応じてどのように進化するかを調査すること。
• 環境の難易度が進化的プロセスを通じて脳の複雑さと情報利用に与える影響を検討すること。
• 代謝的コストが低い場合でも、変異負荷が脳サイズの進化を制限するという仮説を検証すること。
• 異なる環境条件下での逐次サンプリング戦略とヒューリスティック戦略の進化的出現を比較すること。
• 動的意思決定における認知戦略の進化を生物学的に妥当なフレームワークとして提供すること。

提案手法

• マコフ脳（16ノードのニューラルネットワーク）を備えた人工エージェントを、遺伝的アルゴリズムを用いて動的二値意思決定タスクを解くように進化させた。
• エージェントは、信号（S）またはノイズ（N）を表す時間的に変化する入力を受取り、蓄積された証拠に基づいて出力源を特定する必要があった。
• フィットネスは意思決定の正確性と速度に基づき、長期にわたる報酬を最大化するエージェントが選択された。
• 環境の難易度と信号対ノイズ比を変化させたさまざまな環境条件下で進化を実行した。
• 脳サイズと情報利用量を世代ごとに追跡し、複雑さに関する進化的傾向を評価した。
• 変異率と耐性をモデルに組み込み、遺伝的負荷が脳サイズと戦略の進化に与える影響を評価した。

実験結果

リサーチクエスチョン

• RQ1 環境の難易度は、人工エージェントの脳サイズと情報処理の複雑さにどのように影響するか？
• RQ2 複雑な戦略が利用可能で正確であっても、単純な環境はヒューリスティックに似た戦略を好むのか？
• RQ3 代謝的コストが低くても、変異負荷が単独で大きな脳の進化を制限できるのか？
• RQ4 進化した戦略は、どの程度まで逐次サンプリングや非補償的ヒューリスティクスに類似しているか？
• RQ5 高難易度と低難易度の意思決定環境における進化的経路は、どのように異なるか？

主な発見

• 難易度の高い環境では、より大きな脳と情報利用量の増加が見られ、蓄積された証拠統合を伴う逐次サンプリングに類似した戦略が出現した。
• 単純な環境では、より小さな脳と情報利用量の減少が見られ、非補償的でヒューリスティックに似た戦略が好まれた。
• 明示的な複雑さコストが存在しない状況でも、変異負荷が制約として機能し、大きな脳の進化を、より簡単な環境では制限した。
• 難易度の高い環境にいるエージェントは、長時間にわたる処理チェーンにもかかわらず、高い正確性と耐性を維持しており、情報の混乱に対しても進化的に耐性があることが示された。
• 進化的経路の分析から、複雑な戦略は環境的要請がなければ出現しなかったことが明らかになり、環境依存的な戦略使用を支持するものとなった。
• 結果から、逐次サンプリングとファストアンドフリーグルーリスティクスの両方が、異なる選択的圧力のもとで進化の妥当な結果である可能性が示された。