[논문 리뷰] Adaptive patch foraging in deep reinforcement learning agents

Nathan J. Wispinski, Andrew Butcher외 4명|arXiv (Cornell University)|2022. 10. 14.

Neural dynamics and brain function인용 수 5

한 줄 요약

이 논문은 복잡하고 생태학적으로 타당한 환경에서 딥 강화학습 에이전트가 마찰값 이론(MVT)에 의해 정의된 최적 성능에 가까워지는 적응형 패치 번식 행동을 학습할 수 있음을 보여준다. 에이전트는 번식하지 않는 비인간 영장류에서 관찰된 바와 유사한 자기조율 신경 동역학을 보이며, 생물학적 지능과 인공지능 시스템 간의 공통된 계산 원리를 시사한다.

ABSTRACT

Patch foraging is one of the most heavily studied behavioral optimization challenges in biology. However, despite its importance to biological intelligence, this behavioral optimization problem is understudied in artificial intelligence research. Patch foraging is especially amenable to study given that it has a known optimal solution, which may be difficult to discover given current techniques in deep reinforcement learning. Here, we investigate deep reinforcement learning agents in an ecological patch foraging task. For the first time, we show that machine learning agents can learn to patch forage adaptively in patterns similar to biological foragers, and approach optimal patch foraging behavior when accounting for temporal discounting. Finally, we show emergent internal dynamics in these agents that resemble single-cell recordings from foraging non-human primates, which complements experimental and theoretical work on the neural mechanisms of biological foraging. This work suggests that agents interacting in complex environments with ecologically valid pressures arrive at common solutions, suggesting the emergence of foundational computations behind adaptive, intelligent behavior in both biological and artificial agents.

연구 동기 및 목표

• 딥 강화학습 에이전트가 복잡하고 생태학적으로 현실적인 환경에서 적응형 패치 번식 행동을 학습할 수 있는지 조사하기.
• 모델-프리 딥 강화학습으로 훈련된 에이전트가 마찰값 이론(MVT)에 의해 정의된 최적 해를 얼마나 잘 근사할 수 있는지 결정하기.
• 훈련된 에이전트의 내재된 동적 행동이 생물학적 번식자에서 관찰된 뇌 활동 패턴과 유사한지 탐색하기.
• 양방향 지능 체계 간의 다리를 놓기 위해, 양쪽 분야에서 기본적인 의사결정 문제를 모델링하기.

제안 방법

• 자원 패치가 공간적으로 분포되어 있고 시간이 지남에 따라 지수적으로 감소하는 3D 연속 제어 환경에서 딥 강화학습 에이전트를 훈련시켰다.
• 연속적인 액션 공간과 라이다 유사 감각 입력을 사용하여 현실적인 주행 및 자원 탐지 기능을 가능하게 하였다.
• 모델-프리 딥 강화학습(SAC 또는 유사 알고리즘 등)을 적용하여 MVT에 대한 사전 지식 없이 정책을 학습시켰다.
• 에이전트의 이동 경로와 내부 신경 활성도를 추적하여 생물학적 번식자와의 행동 및 동적 유사성 분석을 수행하였다.
• 다양한 환경 조건 하에서 패치 체류 시간을 MVT 예측과 비교하여 성능을 평가하였다.
• 프리포르탈 코르티컬 유사 영역에서 관찰되는 증거 누적 메커니즘과 유사한 시간 통합 패턴을 보이는 에이전트 내부 표현을 분석하였다.

실험 결과

연구 질문

• RQ1 딥 강화학습 에이전트는 감소하는 보상이 있는 패치 기반 환경에서 적응적으로 번식할 수 있는가?
• RQ2 훈련된 에이전트의 패치 체류 시간이 마찰값 이론(MVT) 예측과 어느 정도 일치하는가?
• RQ3 훈련된 에이전트의 내재된 신경 동역학은 특히 비인간 영장류에서 관찰된 바와 유사한가?
• RQ4 인공 에이전트에서 나타나는 잠재 행동이 생물학적 시스템의 번식 신경 기제에 대한 검증 가능한 예측을 제공할 수 있는가?
• RQ5 환경의 복잡성과 연속 제어가 최적 번식 전략의 도출을 도와주는가, 아니면 방해하는가?

주요 결과

• 딥 강화학습 에이전트는 복잡한 3D 환경에서 자원의 풍부함에 따라 패치 체류 시간을 조절함으로써 적응적으로 번식하는 것을 성공적으로 학습하였다.
• 에이전트 행동은 시간 할인을 고려할 경우 마찰값 이론(MVT)이 예측한 최적 해에 매우 가까이 근접하였다.
• 에이전트의 내재된 신경 동역학은 특히 전두엽 피질 유사 영역에서 관찰된 단일 세포 기록과 유사한 패턴을 보였다.
• 에이전트는 패치 재충전 주기와 이동 시간의 변화에 대해 강건하게 대응하였으며, MVT 예측와 일치하는 방식으로 행동을 조정하였다.
• 에이전트에서 나타나는 잠재 행동은 생물학적 지능과 인공지능 시스템 간의 기본 생태학적 의사결정 문제 해결에 공통된 계산 원리를 시사한다.
• 결과는 복잡한 환경에서의 생태적 압력이 생물학적 및 인공지능 에이전트 양쪽 모두에서 기본적인 인지 계산을 유도할 수 있다는 가정을 지지한다.