[논문 리뷰] Interval timing in deep reinforcement learning agents

Ben Deverett, Ryan Faulkner외 3명|arXiv (Cornell University)|2019. 05. 31.

Neuroscience and Music Perception참고 문헌 31인용 수 7

한 줄 요약

이 논문은 뇌과학에 영감을 받은 작업을 통해 딥 강화 학습 에이전트의 간격 타이밍 능력을 조사한다. 이 작업에서는 에이전트가 샘플 간격을 재현하여 보상을 받도록 설계되어 있으며, 순환(LSTM) 및 피드포워드 에이전트 모두 이 작업을 성공적으로 학습하였다. 순환 에이전트는 LSTM 유닛 내부의 내부 카운터를 사용하였고, 피드포워드 에이전트는 생물학적 타이밍 메커니즘과 유사한 스티그머지(stigmergy)-유사 전략을 개발하였다.

ABSTRACT

The measurement of time is central to intelligent behavior. We know that both animals and artificial agents can successfully use temporal dependencies to select actions. In artificial agents, little work has directly addressed (1) which architectural components are necessary for successful development of this ability, (2) how this timing ability comes to be represented in the units and actions of the agent, and (3) whether the resulting behavior of the system converges on solutions similar to those of biology. Here we studied interval timing abilities in deep reinforcement learning agents trained end-to-end on an interval reproduction paradigm inspired by experimental literature on mechanisms of timing. We characterize the strategies developed by recurrent and feedforward agents, which both succeed at temporal reproduction using distinct mechanisms, some of which bear specific and intriguing similarities to biological systems. These findings advance our understanding of how agents come to represent time, and they highlight the value of experimentally inspired approaches to characterizing agent abilities.

연구 동기 및 목표

• 통제된 실험적 환경에서 딥 강화 학습 에이전트가 간격 타이밍 능력을 어떻게 발달시키는지 연구하기 위해.
• 성공적인 시간 재현을 위해 필요한 아키텍처 구성 요소(순환 대비 피드포워드)가 무엇인지 규명하기 위해.
• 인공 에이전트가 유도하는 타이밍 전략을 동물에서 알려진 생물학적 메커니즘과 비교하기 위해.
• 엔드 투 엔드로 훈련된 에이전트가 생물학적 시스템에서 관찰된 해결책과 유사한 방식으로 수렴하는지 평가하기 위해.
• 타임스텝을 거슬러 내려가는 역전파(backpropagation through time)와 신용 할당(credit assignment)이 시간 의존성 학습에 미치는 역할을 탐색하기 위해.

제안 방법

• 에이전트는 뇌과학 실험을 모델로 한 간격 재현 작업을 수행하기 위해 PsychLab 환경에서 엔드 투 엔드로 훈련되었다.
• 이 작업은 중심 십자가를 응시하고 'Set' 신호 이후 샘플 간격을 기다린 후 'Go' 타겟을 향해 시선을 이동시켜 시험을 완료하도록 요구되었다.
• 성능는 'Set'에서 'Go' 시선으로의 생산 간격이 허용 오차 내에서 샘플 간격과 일치하는지 여부에 따라 평가되었다.
• 순환 에이전트는 타임스텝을 거슬러 내려가는 역전파를 사용하는 LSTM 컨트롤러를 사용하였고, 피드포워드 에이전트는 정책 기반 강화 학습 업데이트에 의존하는 비순환 네트워크를 사용하였다.
• 아키텍처의 변형 실험을 수행하였으며, 이는 동결된 LSTM 가중치, 10단계로 잘라낸 역전파(10-step RL), 일반 RNN, GRU, RMC로의 교체를 포함하였다.
• 전략 분석은 은닉 유닛 활성화, 행동 경로, 다양한 간격에 대한 일반화 능력 등을 통해 수행되었다.

실험 결과

연구 질문

• RQ1 순환 및 피드포워드 딥 강화 학습 에이전트는 간격 타이밍을 위해 서로 다른 전략을 개발하는가?
• RQ2 아키텍처 선택(예: 순환성, 타임스텝을 거슬러 내려가는 역전파)이 시간 표현의 유도에 어떤 영향을 미치는가?
• RQ3 인공 에이전트의 타이밍 전략이 생물학적 시스템에서 관찰된 전략과 어느 정도 유사한가?
• RQ4 피드포워드 에이전트는 명시적 순환 메모리 없이도 정책 기반 신용 할당에 의존하여 간격 타이밍을 학습할 수 있는가?
• RQ5 동결된 가중치나 잘라낸 학습 업데이트와 같은 아키텍처 수정에 대해 간격 타이밍 성능는 얼마나 견고한가?

주요 결과

• 순환(LSTM) 및 피드포워드 딥 강화 학습 에이전트 모두 엔드 투 엔드 방식으로 간격 재현 작업을 성공적으로 해결하였다.
• 순환 에이전트는 시간 경과에 따라 변화하는 활성화 패tern을 보이는 LSTM 은닉 유닛을 통해 내부 타이밍 메커니즘을 개발하였으며, 이는 카운터와 유사하였다.
• 피드포워드 에이전트는 누적 행동 패턴을 통해 타이밍이 유도되는 스티그머지(stigmergy)-유사 전략을 채택하였으며, 이는 동물에서 관찰된 심리물리적 발견과 유사하였다.
• 동결된 LSTM 에이전트도 훈련된 LSTM와 유사한 성능를 보였으며, 이는 비학습 가능한 내부 가중치에서도 학습이 가능함을 시사하였다.
• 순환 에이전트는 잘라낸 역전파(10-step RL) 조건에서도 높은 성능를 유지하였지만, 피드포워드 에이전트는 심각한 성능 저하를 보였으며, 이는 비순환 네트워크에서 시간적 신용 할당의 중요성을 강조하였다.
• 아키텍처 변형에 대해 성능가 견고하였으며, 일반 RNN, GRU, RMC로의 교체 조건에서도 일부 성능 편향이 있었지만 전체적으로는 안정적인 성능를 유지하였다.