[논문 리뷰] SMiRL: Surprise Minimizing Reinforcement Learning in Unstable Environments

Glen Berseth, Daniel Geng외 5명|arXiv (Cornell University)|2019. 12. 11.

Reinforcement Learning in Robotics참고 문헌 53인용 수 12

한 줄 요약

이 논문은 환경의 놀라움을 최소화함으로써 안정적이고 예측 가능한 상태를 햖을 목적으로 하는 비지도 강화학습 방법인 놀라움 최소화 강화학습(SMiRL)을 제안한다. 상태 밀도 모델을 반복적으로 갱신하고, 유사한 상태로 햖을 수 있는 정책을 최적화함으로써 SMiRL은 작업에 특화된 보상 없이도 복잡한 행동—예를 들어 테트리스 플레이, 히ュ먼로이드 균형 유지, 적 회피—를 자율적으로 학습할 수 있게 한다. 또한 보상 기반 학습을 가속화하는 보조 목적함수로 사용될 경우에도 효과적이다.

ABSTRACT

Every living organism struggles against disruptive environmental forces to carve out and maintain an orderly niche. We propose that such a struggle to achieve and preserve order might offer a principle for the emergence of useful behaviors in artificial agents. We formalize this idea into an unsupervised reinforcement learning method called surprise minimizing reinforcement learning (SMiRL). SMiRL alternates between learning a density model to evaluate the surprise of a stimulus, and improving the policy to seek more predictable stimuli. The policy seeks out stable and repeatable situations that counteract the environment's prevailing sources of entropy. This might include avoiding other hostile agents, or finding a stable, balanced pose for a bipedal robot in the face of disturbance forces. We demonstrate that our surprise minimizing agents can successfully play Tetris, Doom, control a humanoid to avoid falls, and navigate to escape enemies in a maze without any task-specific reward supervision. We further show that SMiRL can be used together with standard task rewards to accelerate reward-driven learning.

연구 동기 및 목표

• 작업에 특화된 보상 없이 환경의 놀라움을 최소화함으로써 유용한 행동을 학습할 수 있도록 하는 비지도 강화학습 방법을 개발하는 것.
• 자연적 요란함이 증가하여 엔트로피가 높아지는 오픈월드 환경에서 안정성과 예측 가능성은 탐색보다 더 중요하기 때문에, 이러한 환경에서의 학습에 도전하는 것.
• 놀라움 최소화가 작업에 특화된 보상 없이도 의미 있는, 조율된 행동—예를 들어 균형 유지, 게임 플레이, 회피—를 유도할 수 있음을 보여주는 것.
• SMiRL이 밀도 높은 보상 환경에서 학습을 가속화하는 데 효과적인 보조 보상 신호로 활용될 수 있는지를 탐색하는 것.

제안 방법

• SMiRL은 방문한 상태의 분포를 추정하는 밀도 모델 $p_{\theta}(\mathbf{s})$를 유지하며, 새로운 상태 관측값을 기반으로 이를 갱신한다.
• 정책은 $p_{\theta}(\mathbf{s})$의 매개변수에 조건을 받으며, 놀라움이 낮은 상태—즉, 현재 모델 하에서 높은 가능도를 가지는 상태—로 향하는 행동을 생성하도록 한다.
• 각 단계에서 에이전트는 보상 $r_t = -\log p_{\theta_{t-1}}(\mathbf{s}_t)$를 수신하며, 이는 현재 상태의 음의 로그 가능도를 측정한다.
• 이 방법은 밀도 모델 갱신과 정책 개선을 번갈아 수행하며, 변화하는 상태 분포 하에서 정적 MDP를 형성한다.
• SMiRL은 완전히 비지도 설정과 함께 작업 보상과 결합된 설정에 모두 적용되며, $r_{\text{combined}} = r_{\text{task}} + \alpha r_{\text{SMiRL}}$로 표현된다.
• 이 방법은 전문가의 시연로 초기화된 $p_{\theta}(\mathbf{s})$를 활용해 사전 데이터를 통합할 수 있으며, 알고리즘적 변경 없이도 이민학습의 한 형태를 가능하게 한다.

실험 결과

연구 질문

• RQ1 놀라움 최소화가 작업에 특화된 보상 없이도 불안정한 환경에서 복잡하고 조율된 행동이 자발적으로 나타나게 할 수 있는가?
• RQ2 높은 자연 엔트로피와 지속적인 요란함이 존재하는 환경에서 SMiRL은 노벨리티 중심 내재적 호기심 방법과 비교해 어떻게 성능을 발휘하는가?
• RQ3 SMiRL이 밀도 높은 보상 환경에서 학습을 가속화하는 데 효과적인 보조 보상 신호로 활용될 수 있는가? 특히 치명적인 결과를 피해야 하는 상황에서의 효용성은 어떠한가?
• RQ4 SMiRL은 얼마나 효과적으로 사전 시연 데이터와 결합되어 샘플 효율성을 향상시키고 훈련 중 실패를 줄일 수 있는가?

주요 결과

• SMiRL은 작업에 특화된 보상 신호 없이도 테트리스 플레이, 도움(Doom)에서 적을 피하고 이동하며, 절벽 가장자리에서 히ュ먼로이드 로봇의 균형을 유지하는 데 성공했다.
• 테트리스 및 TakeCover 환경에서 SMiRL은 이전의 내재적 호기심 방법보다 뛰어난 성능을 보였으며, 특히 더 어려운 변형에서 사망 및軋む 수를 크게 줄였다.
• 작업 보상과 결합된 경우, SMiRL은 Walk 및 DefendTheLine 작업에서 학습을 가속화했으며, 특히 사전에 걷기 경로를 사용해 상태 밀도 모델을 초기화한 경우 최고의 성능를 기록했다.
• 사전 데이터로 초기화된 SMiRL의 변종은 낙상 수를 줄이고 샘플 효율성을 향상시켜, 사전 지식이 놀라움 최소화 프레임워크에 원활하게 통합될 수 있음을 보여주었다.
• SMiRL의 행동은 상태 표현에 매우 민감함을 보였으며, 이는 적절한 관측 모odalities를 선택함으로써 행동 설계를 유도할 수 있음을 시사한다.
• 이 방법은 놀라움 최소화가 환경 엔트로피에 저항하는 홈오스테시스 행동—예를 들어 피난처 구축, 균형 유지—를 유도할 수 있음을 보여주었으며, 이는 명시적 보상 없이도 가능하다.