[논문 리뷰] A Story of Two Streams: Reinforcement Learning Models from Human Behavior and Neuropsychiatry

Baihan Lin, Guillermo Cecchi외 3명|arXiv (Cornell University)|2019. 06. 21.

Neural and Behavioral Psychology Studies참고 문헌 36인용 수 13

한 줄 요약

이 논문은 신경정신의학적 보상 처리 편향을 영감으로 삼아, 긍정적 보상과 부정적 보상의 처리를 별도의 가중치와 할인 요소를 사용해 분리하는 두 개의 스트림을 갖는 강화학습 모델인 Split-QL을 소개한다. 이 모델은 비정상적인 보상 분포를 가진 환경, 시뮬레이션된 임의의 작업, 아이오와 도박 과제, 그리고 보상 분포가 변화하는 수명 주기적 패키맨 환경에서 기존의 Q-학습, SARSA, 더블 Q-학습보다 뛰어난 성능을 보였다.

ABSTRACT

Drawing an inspiration from behavioral studies of human decision making, we propose here a more general and flexible parametric framework for reinforcement learning that extends standard Q-learning to a two-stream model for processing positive and negative rewards, and allows to incorporate a wide range of reward-processing biases -- an important component of human decision making which can help us better understand a wide spectrum of multi-agent interactions in complex real-world socioeconomic systems, as well as various neuropsychiatric conditions associated with disruptions in normal reward processing. From the computational perspective, we observe that the proposed Split-QL model and its clinically inspired variants consistently outperform standard Q-Learning and SARSA methods, as well as recently proposed Double Q-Learning approaches, on simulated tasks with particular reward distributions, a real-world dataset capturing human decision-making in gambling tasks, and the Pac-Man game in a lifelong learning setting across different reward stationarities.

연구 동기 및 목표

• 신경정신의학적 장애에서 관찰되는 인간의 보상 처리 편향을 반영할 수 있는 보다 유연하고 생물학적으로 타당한 강화학습 프레임워크를 개발하는 것.
• 표준 Q-학습을 확장하여 긍정적 보상과 부정적 보상을 별도의 처리 스트림으로 모델링하고, 각각의 독립된 매개변수를 사용하는 것.
• 이 두 개의 스트림 접근 방식이 비정상적인 환경과 임상적으로 관련성이 있는 의사결정 환경에서 성능 향상에 기여하는지 평가하는 것.
• 주의력 결핍 과잉행동장애, 우울증, 중독 등 질환에서 관찰되는 보상 처리 불균형의 계산적 영향을 탐색하는 것.
• 건강한 상태와 장애가 있는 상태의 보상 처리를 하나의 프레임워크 안에서 통합적으로 연구할 수 있는 계산 모델을 제공하는 것.

제안 방법

• Split-QL 모델은 보상 신호를 두 개의 독립적인 스트림으로 분리한다: 긍정적 보상과 부정적 보상으로, 각각 고유한 가중치 매개변수를 갖는다.
• 각 스트림은 과거 보상에 대해 별도의 할인 요소를 적용하여 긍정적 경험과 부정적 경험에 대해 다르게 기억 유지할 수 있도록 한다.
• Q-값 갱신 규칙을 수정하여 각 상태-행동 쌍에 대해 두 개의 별도 Q-값을 계산하고, 이를 최종 Q-값으로 조합한다.
• 안정성을 확보하기 위해 각 스트림에 대해 별도의 타겟 네트워크 또는 업데이트를 유지하는 수정된 Q-학습 업데이트 규칙을 사용하여 모델을 훈련시킨다.
• 모델은 뇌병리학적 특성에 기반한 다양한 임상적 설정을 지원한다. 예를 들어, 부정적 보상에 대한 민감도가 높은 경우(파킨슨병 유사), 또는 과거 보상의 잊혀짐이 어려운 경우(중독 유사) 등.
• 실험은 인위적 MDP, 아이오와 도박 과제(IGT), 그리고 확률적 보상 변화가 발생하는 장기 수명 패키맨 게임을 통해 유연성과 적응 능력을 테스트한다.

실험 결과

연구 질문

• RQ1 긍정적 보상과 부정적 보상을 별도로 처리하는 두 개의 스트림 강화학습 모델이 비정상적이고 임상적으로 관련성이 있는 환경에서 표준 Q-학습보다 뛰어난 성능을 보일 수 있는가?
• RQ2 부정적 보상에 대한 민감도 증가 또는 과거 보상의 할인 능력 저하와 같은 다양한 보상 처리 편향이 학습 성능과 적응 능력에 어떤 영향을 미치는가?
• RQ3 Split-QL이 주의력 결핍 과잉행동장애, 우울증, 만성 통증과 같은 정신신경질환에서 관찰되는 행동 패턴을 어느 정도 정확하게 캡처하고 재현할 수 있는가?
• RQ4 보상 분포가 시간에 따라 변화하는 장기 수명 학습 환경에서 이 모델이 뛰어난 적응 능력을 보이는가?
• RQ5 이 모델의 성능를 특정 임상 표현형(예: 만성 통증에서의 피하는 행동, 중독에서의 위험 수반 행동)을 반영하도록 조정할 수 있는가?

주요 결과

• Split-QL은 비독립적 동일분포가 아닌 보상 분포를 가진 인위적 MDP에서 표준 Q-학습, SARSA, 더블 Q-학습을 일관되게 능가했다.
• 실제 인간의 도박 결정 데이터를 포함한 아이오와 도박 과제(IGT)에서, 임상적으로 유사한 매개변수를 가진 Split-QL은 인간의 성능을 따라하거나 초월했으며, 기준 모델보다 뛰어난 성능을 보였다.
• 확률적 보상 변화가 발생하는 장기 수명 패키맨 환경에서, Split-QL은 모든 네 가지 정적 상태 시나리오(보상 스트림의 무음, 스케일링, 반전)에서 뛰어난 적응 능력과 더 높은 평균 최종 점수를 기록했다.
• 보상 반전 시나리오에서는 특정 정신적 에이전트 유형(특히 ADHD 유사 에이전트)이 표준 Split-QL을 초월하는 성능을 보였으며, 이는 고변동성 환경에서 실제 행동적 우위를 반영한다.
• CP(만성 통증) 유사 에이전트는 낮은 보상에도 불구하고 지속적으로 고스트를 피하는 극단적인 회피 행동을 보였으며, 이는 만성 통증 환자가 보상 획득보다 생존을 우선시하는 임상적 특성과 유사했다.
• 모델의 유연성 덕분에 다양한 임상 표현형을 시뮬레이션할 수 있었으며, 만성 통증에서의 회피 행동과 ADHD에서의 빠른 주의 전환 행동을 포함하여, 정신의학 모델링을 위한 계산 도구로서의 잠재력을 보여주었다.