[논문 리뷰] Combating Reinforcement Learning's Sisyphean Curse with Intrinsic Fear

Zachary C. Lipton, Azizzadenesheli, Kamyar외 4명|arXiv (Cornell University)|2016. 11. 03.

Reinforcement Learning in Robotics참고 문헌 25인용 수 49

한 줄 요약

이 논문은 치명적 사고 위험을 예측하는 공포 모델을 훈련시켜 Q-학습에 이에 기반한 보상 형식을 적용함으로써, 재난적 기억 상실로 인해 반복적으로 위험한 상태를 재방문하는 DRL 에이전트를 방지하는 보상 형식 방법인 내재적 공포(Intrinsic Fear, IF)를 제안한다. 이 방법은 사전 지식이 거의 필요 없이 샘플 효율성을 향상시키고, 아케이드 게임과 토이 환경에서 재난을 견고하게 피하는 데 성공한다.

ABSTRACT

Many practical environments contain catastrophic states that an optimal agent would visit infrequently or never. Even on toy problems, Deep Reinforcement Learning (DRL) agents tend to periodically revisit these states upon forgetting their existence under a new policy. We introduce intrinsic fear (IF), a learned reward shaping that guards DRL agents against periodic catastrophes. IF agents possess a fear model trained to predict the probability of imminent catastrophe. This score is then used to penalize the Q-learning objective. Our theoretical analysis bounds the reduction in average return due to learning on the perturbed objective. We also prove robustness to classification errors. As a bonus, IF models tend to learn faster, owing to reward shaping. Experiments demonstrate that intrinsic-fear DQNs solve otherwise pathological environments and improve on several Atari games.

연구 동기 및 목표

• 재난적 기억 상실로 인해 딥 강화학습 에이전트가 반복적으로 재난 상태를 재방문하는 문제를 해결하기 위해.
• 환경 모델링을 요구하지 않고, 과거 재난 상태를 식별할 수 있는 최소한의 사전 지식만을 사용하는 방법을 개발하기 위해.
• 높은 위험 경로를 보상 형식을 통해 처벌함으로써 학습 효율성과 안전성을 향상시키기 위해.
• 위험 모델의 오류 및 유한한 보상 변동에 대한 이론적 근거를 제시하여 방법의 강건성에 기여하기 위해.
• 내재적 공포가 DQN 에이전트가 병적인 환경을 해결하고 아케이드 게임에서 표준 DQN보다 뛰어난 성능을 내는 데 기여함을 입증하기 위해.

제안 방법

• 모든 상태에서 $k_r$ 단계 내에 재난 상태에 도달할 확률을 예측할 수 있도록 지도 학습을 통해 공포 모델을 훈련시킨다.
• 공포 모델의 출력을 Q-학습 목표 함수에 적용된 학습된 내재적 처벌로 사용하며, 이를 공포 계수로 스케일링하여 고위험 행동을 억제한다.
• 재난 상태와 안전 상태를 별도의 버퍼에 유지함으로써 공포 모델의 재난 상태에 대한 인식 능력이 손상되지 않도록 방지하여 재난 상태를 완전히 잊지 않도록 보장한다.
• 공포 점수를 Q-학습 타겟 업데이트에 통합하여 보상 수익 추정치에 처벌 항목을 포함시킨다.
• 우선순위 기반 샘플링을 사용한 경험 재생을 활용하지만, 재난 상태는 기억에서 제거되지 않도록 보장하여 공포 모델의 정확도를 유지한다.
• 주요 정책 네트워크를 수정하지 않고, 별도로 지속적으로 훈련되는 공포 모델을 통해 보상 형식을 구현한다.

실험 결과

연구 질문

• RQ1 학습된 내재적 보상 형식 메커니즘이 재난적 기억 상실로 인해 알려진 재난 상태를 반복 방문하는 DRL 에이전트를 방지할 수 있는가?
• RQ2 희귀하지만 심각한 실패가 발생하는 환경에서 제안된 내재적 공포 방법이 학습 효율성과 최종 성능에 어떤 영향을 미치는가?
• RQ3 특히 안전 상태를 잘못 위험 상태로 분류하는 경우, 위험 상태 분류 모델의 오류에 대해 이 방법이 얼마나 강건한가?
• RQ4 표준 아케이드 환경에서 내재적 공포가 성능 향상에 어느 정도 기여하는가, 특히 고비용 실패 모드가 존재하는 환경에서?
• RQ5 내재적 공포의 사용이 훈련 및 평가 기간 동안 재난적 에피소드의 수를 상당히 줄이는가?

주요 결과

• 토이 환경인 어드벤처 시커에서 표준 DQN은 훈련을 통해 회피하도록 설계되었음에도 불구하고 반복적으로 재난 상태를 재방문하지만, IF 에이전트는 이를 영구적으로 피하는 것을 학습한다.
• 카트폴 환경에서 IF 에이전트는 표준 DQN 정책이 실패 모드로 다시 흐트러지더라도, 안전 정책 영역에 머물도록 학습하여 추락을 성공적으로 피한다.
• 시쿼스트에서 IF 에이전트는 평균 보상이 더 높고, 생명을 잃는 횟수가 표준 DQN보다 줄어든다.
• 아스테로이드스에서 IF 에이전트는 누적 보상이 더 높고, 게임 오버 상태의 수가 상당히 줄어들어 안전성과 성능 향상을 입증한다.
• 프리웨이에서는 성능 향상이 가장 뚜렷하다: IF 에이전트는 표준 DQN보다 도로를 횡단하는 가장 흔한 실패 모드를 훨씬 더 일관되게 피한다.
• 이론적 분석 결과, 유한한 보상과 낮은 재난 상태 방문 빈도 조건 하에서, 변형된 목표 함수는 원래 목표 함수의 최적 정책과 약간의 예상 수익을 갖는 정책을 도출함을 보여준다.