[논문 리뷰] A Temporal Difference Reinforcement Learning Theory of Emotion: unifying emotion, cognition and adaptive behavior

Joost Broekens|arXiv (Cornell University)|2018. 07. 24.

Cognitive Science and Mapping인용 수 4

한 줄 요약

이 논문은 감정의 시간차 강화학습(TDRL) 이론을 제안하며, 모든 감정이 뇌가 예상 보상과 실제 보상 간의 격차인 시간차 오차(TD 오차)를 평가함으로써 유래된다고 주장한다. 이는 감정, 인지 및 적응 행동을 통합하는 이론이다. 이 이론은 심리학적, 신경생물학적, 계산적 증거를 통합하여 다양한 종에서 감정이 학습과 생존 중심 행동을 이끄는 방식을 설명한다.

ABSTRACT

Emotions are intimately tied to motivation and the adaptation of behavior, and many animal species show evidence of emotions in their behavior. Therefore, emotions must be related to powerful mechanisms that aid survival, and, emotions must be evolutionary continuous phenomena. How and why did emotions evolve in nature, how do events get emotionally appraised, how do emotions relate to cognitive complexity, and, how do they impact behavior and learning? In this article I propose that all emotions are manifestations of reward processing, in particular Temporal Difference (TD) error assessment. Reinforcement Learning (RL) is a powerful computational model for the learning of goal oriented tasks by exploration and feedback. Evidence indicates that RL-like processes exist in many animal species. Key in the processing of feedback in RL is the notion of TD error, the assessment of how much better or worse a situation just became, compared to what was previously expected (or, the estimated gain or loss of utility - or well-being - resulting from new evidence). I propose a TDRL Theory of Emotion and discuss its ramifications for our understanding of emotions in humans, animals and machines, and present psychological, neurobiological and computational evidence in its support.

연구 동기 및 목표

• 강화학습에 기반한 단일 계산적 프레임워크를 통해 감정, 인지 및 적응 행동을 통합하는 것.
• 동물과 인간의 기본 보상 처리 메커니즘과의 연결을 통해 감정의 진화적 연속성을 설명하는 것.
• 감정 상태가 뇌가 보상 예측의 시간차(TD) 오차를 평가함으로써 유도된다는 것을 입증하는 것.
• 감정이 학습, 의사결정 및 행동에 영향을 주는 데 신경생물학적으로 타당한 메커니즘을 제공하는 것.
• 인공지능과 정서과학을 연결하여 감정을 목표 지향적 학습의 내재된 구성 요소로 모델링하는 것.

제안 방법

• 감정 상태가 강화학습에서 시간차(TD) 오차의 크기와 성향과 대응된다고 제안한다.
• 감정 평가를 뇌가 보상 예측 오차를 실시간으로 평가하는 방식으로 모델링한다—즉, 결과가 예상보다 얼마나 더 좋거나 나쁜지를 평가한다.
• 특히 TD(0) 업데이트 규칙인 δ = r + γV(s′) − V(s)를 사용하여 감정의 성향과 강도를 정량화한다.
• 도파민 및 기타 신경조절 물질이 TD 오차 신호를 인코딩함으로써 감정 상태와 일치하는 신경생물학적 증거를 통합한다.
• 다양한 감정 현상—놀람, 기쁨, 두려움, 좌절—을 TD 오차 처리의 변형으로 설명하기 위해 프레임워크를 적용한다.
• 감정 피드백이 보상 기반 학습을 통해 장기적 행동과 인지 발달에 영향을 주는 방식으로 모델을 확장한다.

실험 결과

연구 질문

• RQ1 뇌의 기본 보상 처리 메커니즘으로부터 감정은 어떻게 유래되는가?
• RQ2 감정의 계산적 역할은 적응 행동과 학습을 이끄는 데서 무엇인가?
• RQ3 강화학습 원리로 감정 상태를 어떻게 공식적으로 모델링할 수 있는가?
• RQ4 강화학습에서의 TD 오차는 주관적인 감정 경험과 어떤 방식으로 대응되는가?
• RQ5 이 이론은 다양한 종 간 감정의 진화적 연속성을 어떻게 설명하는가?

주요 결과

• 감정은 인지와 별개가 아니라 보상 기반 학습의 본질적인 일부이며, 감정의 성향은 TD 오차의 부호를 반영한다.
• 감정 반응의 강도는 TD 오차의 크기와 상관관계가 있으며, 예상치 못한 보상이나 처벌에 대해 더 강한 반응을 보이는 것을 설명한다.
• 신경생물학적 증거는 도파민 및 기타 신경조절 물질이 TD 오차를 인코딩함으로써 기쁨 또는 회피와 같은 감정 상태와 일치함을 보여준다.
• 이론은 놀람, 좌절, 기쁨과 같은 다양한 감정 현상을 TD 오차 계산의 직접적 결과로 설명할 수 있다.
• 감정 피드백은 주의 집중, 탐색 및 의사결정을 조절함으로써 학습 효율성을 향상시키며, 관찰된 행동 적응과 일치한다.
• 이 모델은 단일 계산 메커니즘인 TD 오차 처리를 통해 인간과 동물의 감정 행동을 통합적으로 설명하는 프레임워크를 제공한다.