[논문 리뷰] A learning gap between neuroscience and reinforcement learning

Samuel T. Wauthier, Pietro Mazzaglia외 4명|arXiv (Cornell University)|2021. 04. 22.

Neural dynamics and brain function참고 문헌 32인용 수 4

한 줄 요약

이 논문은 뇌과학과 강화학습(RL) 사이의 핵심 학습 격차를 규명함으로써, 최신 RL 알고리즘이 민감도와 불확실성 해소를 테스트하기 위해 고안된 뇌과학 기반 T-미로 환경을 해결하지 못함을 입증한다. 저자들은 Friston 등(2016)의 추상적 T-미로를 픽셀 기반, 게임 유사 환경(E-maze)으로 재현하고, PPO, DQN, Rainbow, Dreamer와 같은 고도로 발전한 알고리즘들조차도 이 환경을 안정적으로 해결하지 못함을 보여주며, 생물학적으로 타당한 지능을 이끌어내기 위해 뇌과학 원리에 기반한 RL 벤치마크가 필요하다고 강조한다.

ABSTRACT

Historically, artificial intelligence has drawn much inspiration from neuroscience to fuel advances in the field. However, current progress in reinforcement learning is largely focused on benchmark problems that fail to capture many of the aspects that are of interest in neuroscience today. We illustrate this point by extending a T-maze task from neuroscience for use with reinforcement learning algorithms, and show that state-of-the-art algorithms are not capable of solving this problem. Finally, we point out where insights from neuroscience could help explain some of the issues encountered.

연구 동기 및 목표

• 현재의 강화학습(RL) 벤치마크와 뇌과학에서 다루는 핵심인지 과제(예: 불확실성, 기억, 믿음 형성) 사이의 괴리를 규명하는 것.
• 믿음 기반 의사결정을 테스트하기 위해 설계된 단순한 개념의 T-미로 환경에서도 최신 RL 알고리즘이 어려움을 겪는다는 것을 입증하는 것.
• 미래의 RL 벤치마크가 잘 알려진 뇌과학 과제에 기반해야 한다는 제안을 통해 생물학적 인지에 영감을 받은 알고리즘 개발을 촉진하는 것.
• 현재의 RL 방법이 지속적인 믿음 상태를 요구하는 과제에서 표현 능력과 추론 능력이 부족하다는 경험적 증거를 제공하는 것.

제안 방법

• Friston 등(2016)의 추상적 T-미로를 픽셀 기반, 게임 유사 환경(E-maze)으로 재현하여 연속적인 이동과 시각적 관찰을 가능하게 하였다.
• 환경의 시야를 198도로 설정하고 최대 250회 이동으로 제한하여 보상의 희박성과 복잡한 탐색을 가능하게 하였다.
• Atari 2600 벤치마크에서 유사하게 적용된 표준 딥 RL 알고리즘(DQN, Rainbow, PPO, Dreamer)을 사용하였으며, 표준 초모수를 적용하였다.
• 보상의 희박성에 대응하기 위해 ICM과 RND를 통한 내재적 탐색 보너스를 도입하여 외재적 보상 신호에 통합하였다.
• 공정한 비교를 위해 관측값을 84×84 회색조 이미지로 전처리하여 Atari 벤치마크 표준을 준수하였다.
• 표준 PPO를 사용하여 가중치 초기화와 탐색 스케줄링을 적용하였으며, 성능이 20%에 도달한 후에는 내재적 보너스를 비활성화하였다.

실험 결과

연구 질문

• RQ1 최신 딥 강화학습 알고리즘은 민감도와 함께 믿음 기반 추론이 요구되는 뇌과학 기반 T-미로 과제를 해결할 수 있는가?
• RQ2 Atari 및 기타 게임 환경에서의 성공에도 불구하고 현재의 RL 알고리즘이 이 과제에서 실패하는 이유는 무엇인가?
• RQ3 ICM과 RND와 같은 내재적 탐색 방법이 이 불확실성과 보상 희박성의 환경에서 학습을 가능하게 하는 데 어떤 역할을 하는가?
• RQ4 모델리스와 모델기반 RL 접근법(PPO와 Dreamer 등)이 믿음 형성에 의해 불확실성을 얼마나 잘 해결하는가?
• RQ5 뇌과학에 기반한 환경은 더 인지적으로 타당한 RL 알고리즘 개발을 어떻게 향상시킬 수 있는가?

주요 결과

• DQN, Rainbow, PPO, Dreamer를 포함한 테스트된 최신 RL 알고리즘 중 어느 것도 E-maze 환경에서 안정적인 성능을 달성하지 못했다. 초모수 최적화를 통해도 마찬가지였다.
• ICM과 RND의 내재적 탐색 보너스를 적용한 PPO 에이전트조차도 성능이 20%를 초과하지 못했으며, 믿음 공간 내에서의 탐색이 부족함을 시사한다.
• 지속적인 믿음 상태 유지와 단서를 통한 불확실성 해소를 요구하는 환경 설계는 현재의 RL 아키텍처에 근본적인 한계를 드러냈다.
• 모델리스 방법인 PPO와 DQN은 무작위 베이스라인 수준의 성능 향상조차 보이지 않아, 시간이 지남에 따라 믿음을 유지하고 갱신할 수 있는 메커니즘이 부족함을 시사한다.
• 모델기반 에이전트인 Dreamer의 실패는 세계 모델 학습만으로는 충분하지 않으며, 믿음 표현을 위한 명시적 메커니즘이 필요함을 다시 한번 입증한다.
• 결과적으로 현재의 RL 알고리즘은 생물학적 에이전트에서 관찰되는 확률적 추론과 기억에 의존하는 추론을 자연스럽게 지원하지 못함을 시사한다.