[논문 리뷰] Visceral Machines: Risk-Aversion in Reinforcement Learning with Intrinsic Physiological Rewards

Daniel McDuff, Ashish Kapoor|arXiv (Cornell University)|2018. 05. 25.

Mental Health Research Topics인용 수 16

한 줄 요약

이 논문은 인간의 자율신경계 반응에서 유도된 내재된 생리적 보상(특히 말초 혈류 조절)을 통합하여 강화학습에서 샘플 효율성과 안전성을 햖थ하는 강화학습 프레임워크를 제안한다. 첫인칭 시각 영상에서 스트레스 관련 생리 신호를 예측하기 위해 컨볼루션 신경망(CNN)을 훈련시켜 충돌 이전에 조기에 경고하는 조밀한 보상 신호를 제공함으로써, 시뮬레이션 주행 환경에서의 학습을 가속화하고 충돌을 감소시킨다.

ABSTRACT

As people learn to navigate the world, autonomic nervous system (e.g., "fight or flight") responses provide intrinsic feedback about the potential consequence of action choices (e.g., becoming nervous when close to a cliff edge or driving fast around a bend.) Physiological changes are correlated with these biological preparations to protect one-self from danger. We present a novel approach to reinforcement learning that leverages a task-independent intrinsic reward function trained on peripheral pulse measurements that are correlated with human autonomic nervous system responses. Our hypothesis is that such reward functions can circumvent the challenges associated with sparse and skewed rewards in reinforcement learning settings and can help improve sample efficiency. We test this in a simulated driving environment and show that it can increase the speed of learning and reduce the number of collisions during the learning stage.

연구 동기 및 목표

• 실세계 강화학습에서 희박하고 비대칭적인 보상 문제를 해결하기 위해 내재된 생리적 피드백을 활용하고자 한다.
• 실시간 자율신경계 반응을 보상 신호로 통합하여 학습 중 치명적인 실패를 줄이고 샘플 효율성을 향상시키고자 한다.
• ‘전투 또는 도망’ 반응과 관련된 생리 신호가 강화학습에서 효과적인 내재 보상으로 기능할 수 있는지 탐색하고자 한다.
• 장애물까지의 거리 기반 히우리스틱 보상 설계와 비교하여 CNN 기반 생리적 보상 모델의 성능을 평가하고자 한다.
• 동적으로 감쇠하는 내재 보상 기여도의 영향을 학습 속도와 안전성 측면에서 평가하고자 한다.

제안 방법

• 드라이버의 첫인칭 시각 영상 프레임에서 말초 혈량 파уль스(교감신경계 활성화의 대체 지표)를 예측하기 위해 컨볼루션 신경망(CNN)을 훈련시킨다.
• CNN의 출력을 고자극 상태(예: 충돌 직전 상태)를 방지하기 위해 사전에 충돌이 발생하기 전에 보상 신호로 사용한다.
• 외부 과제 기반 보상(예: 속도, 목표 달성)과 내재 생리적 보상의 가중합을 통해 총 보상 계산: $ R_{total} = R_{ext} + \lambda R_{int} $.
• 과정 학습을 적용하여 내재 보상 가중치 $ \lambda $ 를 시간에 따라 감쇠시킨다: $ \lambda = 1 - \frac{1}{N_{\text{Episode}}} $, 초기에는 내재 피드백에 완전히 의존한다.
• 제한된 공간과 충돌 위험이 있는 시뮬레이션 주행 환경에서 액터-크리틱 강화학습 에이전트를 훈련시킨다.
• CNN 기반 내재 보상과 히우리스틱 거리 기반 내재 보상(예: $ 1 - \exp[-|\text{벽까지 거리}|] $) 간 성능을 비교한다.

실험 결과

연구 질문

• RQ1 자율신경계 반응과 관련된 생리 신호가 강화학습에서 효과적이고 조밀한 내재 보상으로 기능할 수 있는가?
• RQ2 학습된 생리적 자극 모델을 사용할 경우, 희박한 외부 보상 대비 샘플 효율성이 향상되고 충돌 수가 감소하는가?
• RQ3 내재 보상 기여도를 시간에 따라 동적으로 감쇠시키는 것이 초기 학습 단계에서의 학습 속도와 안전성에 어떤 영향을 미치는가?
• RQ4 기하학적 근접도 기반 수작업 보상 설계보다 생리적 반응의 딥러닝 모델이 더 효과적인가?
• RQ5 내장된 장기 반응에서 유도된 내재 보상은 고위험 환경에서 더 안전한 탐색과 더 긴 에피소드 길이를 이끌 수 있는가?

주요 결과

• CNN 기반 내재 보상은 고자극 상태를 조기에 감지함으로써 특히 초기 에피소드에서 충돌 수를 크게 감소시켰다.
• 시간에 따라 감쇠되는 내재 보상 전략을 사용할 경우 에피소드 길이가 크게 증가했으며, 고정 또는 감쇠되지 않은 내재 가중치보다 충돌을 훨씬 빨리 피하는 것을 학습했다.
• CNN 기반 내재 보상 사용 시, 평균 외부 보상과 에피소드 길이 측면에서 히우리스틱 거리 기반 보상 설계보다 뛰어난 성능을 보였다.
• 시간 감쇠 전략은 최적의 고정 $ \lambda = 0.25 $ 보다 뛰어난 성능을 보였으며, 평균 속도가 높고 더 긴 에피소드를 기록했다.
• 생리적 보상 신호는 실제 충돌 이전에 비희박한 피드백을 제공하여 조기에 정책 업데이트를 가능하게 하고 더 안전한 탐색을 가능케 하였다.
• 모델은 단순한 거리 지표보다 복잡한 맥락적 단서(예: 고속 코너, 좁은 길)를 더 잘 포착함을 입증하였다.