[論文レビュー] Adaptive patch foraging in deep reinforcement learning agents

Nathan J. Wispinski, Andrew Butcher+4 more|arXiv (Cornell University)|Oct 14, 2022

Neural dynamics and brain function被引用数 5

ひとこと要約

この論文は、生態的妥当性のある複雑な環境において、深層強化学習エージェントが、限界値定理（MVT）で定義された最適性能に近づくように、適応的パッチ採餌行動を学習できることを示している。エージェントは、採餌を行う霊長類の神経動態に類似した自己組織的神経ダイナミクスを示しており、生物学的知能と人工知能システムの間で共通の計算原理が存在することを示唆している。

ABSTRACT

Patch foraging is one of the most heavily studied behavioral optimization challenges in biology. However, despite its importance to biological intelligence, this behavioral optimization problem is understudied in artificial intelligence research. Patch foraging is especially amenable to study given that it has a known optimal solution, which may be difficult to discover given current techniques in deep reinforcement learning. Here, we investigate deep reinforcement learning agents in an ecological patch foraging task. For the first time, we show that machine learning agents can learn to patch forage adaptively in patterns similar to biological foragers, and approach optimal patch foraging behavior when accounting for temporal discounting. Finally, we show emergent internal dynamics in these agents that resemble single-cell recordings from foraging non-human primates, which complements experimental and theoretical work on the neural mechanisms of biological foraging. This work suggests that agents interacting in complex environments with ecologically valid pressures arrive at common solutions, suggesting the emergence of foundational computations behind adaptive, intelligent behavior in both biological and artificial agents.

研究の動機と目的

• 深層強化学習エージェントが、複雑で生態的妥当性のある環境で、適応的パッチ採餌行動を学習できるかどうかを調査すること。
• モデルフリーの深層強化学習で訓練されたエージェントが、限界値定理（MVT）で定義された最適解にどの程度近づけるかを特定すること。
• 訓練済みエージェントに出現する内部ダイナミクスが、生物学的採餌者で観察された神経活動パターンに類似しているかどうかを調査すること。
• 両分野における基本的意思決定問題をモデル化することで、人工知能と生物学的認知の橋渡しをすること。

提案手法

• 時間とともに指数関数的に劣化する空間的に分散された資源パッチを有する3次元連続制御環境で、深層強化学習エージェントを訓練した。
• 連続的アクション空間とLIDARに類似したセンシング入力を用いて、現実的なナビゲーションと資源検出を可能にした。
• モデルフリーの深層強化学習（例：SACまたは類似手法）を適用し、MVTに関する事前知識なしにポリシーを学習した。
• エージェントの軌跡と内部神経活性化を追跡し、生物学的採餌者との行動的およびダイナミックな類似性を分析した。
• さまざまな環境条件下でのパッチ滞在時間とMVT予測値を比較することで、パフォーマンスを評価した。
• 前額前皮質に類似した領域で観察される証拠蓄積機構に類似した時間的統合の証拠を、エージェントの内部表現から分析した。

実験結果

リサーチクエスチョン

• RQ1 深層強化学習エージェントは、劣化する報酬を持つパッチベースの環境で、適応的に採餌できるか？
• RQ2 訓練済みエージェントのパッチ滞在時間は、どの程度限界値定理（MVT）の予測と一致するか？
• RQ3 訓練済みエージェントの内部神経ダイナミクスは、特に霊長類において観察された生物学的採餌者のそれと類似しているか？
• RQ4 人工エージェントにおける出現的行動は、生物学的システムにおける採餌の神経メカニズムについて、検証可能な予測を提供できるか？
• RQ5 環境の複雑さと連続的制御の挑戦は、最適採餌戦略の出現を妨げるか、それとも支援するか？

主な発見

• 深層強化学習エージェントは、複雑な3次元環境で適応的採餌を成功裏に学習し、環境の資源豊かさに応じてパッチ滞在時間を調整した。
• エージェントの行動は、時間割引を考慮した場合に特に、MVTが予測する最適解に近づいた。
• エージェントの内部神経ダイナミクスは、特に前額前皮質に類似した領域で観察される、採餌を行う霊長類の単一ニューロン記録に類似したパターンを示した。
• エージェントはパッチの再充填レートや移動時間の変化に対して頑健であり、MVTの予測と整合するように行動を調整した。
• エージェントに出現した行動は、生物学的知能と人工知能システムの間で、基本的生態的意思決定問題を解くにあたり共通の計算原理が存在することを示唆した。
• 結果は、複雑な環境における生態的圧力が、人工的および生物学的エージェントの両方において、基本的認知計算の出現を引き起こすという仮説を支持した。