[논문 리뷰] SMiRL: Surprise Minimizing RL in Dynamic Environments

Glen Berseth, Daniel Geng외 4명|arXiv (Cornell University)|2019. 12. 11.

Reinforcement Learning in Robotics참고 문헌 20인용 수 17

한 줄 요약

SMiRL은 환경의 놀라움을 최소화하여 예측 가능하고 안정적인 행동을 학습함으로써 임의의 작업 보상 없이 에이전트를 훈련시키는 비지도 강화학습 방법이다. 이 방법은 자극의 밀도 모델링과 정책 최적화를 번갈아 수행하여, 테트리스, 인간형 균형 유지를 비롯한 미로 탐색과 같은 작업을 내재된 놀라움 감소 동기로 학습할 수 있도록 한다.

ABSTRACT

Every living organism struggles against disruptive environmental forces to carve out and maintain an orderly niche. We propose that such a struggle to achieve and preserve order might offer a principle for the emergence of useful behaviors in artificial agents. We formalize this idea into an unsupervised reinforcement learning method called surprise minimizing reinforcement learning (SMiRL). SMiRL alternates between learning a density model to evaluate the surprise of a stimulus, and improving the policy to seek more predictable stimuli. The policy seeks out stable and repeatable situations that counteract the environment's prevailing sources of entropy. This might include avoiding other hostile agents, or finding a stable, balanced pose for a bipedal robot in the face of disturbance forces. We demonstrate that our surprise minimizing agents can successfully play Tetris, Doom, control a humanoid to avoid falls, and navigate to escape enemies in a maze without any task-specific reward supervision. We further show that SMiRL can be used together with standard task rewards to accelerate reward-driven learning.

연구 동기 및 목표

• 환경의 예측 불가능성 감소를 위한 내재된 동기를 통해 유용한 행동을 자발적으로 발견할 수 있도록 하는 비지도 강화학습 프레임워크를 개발하는 것.
• 놀라움을 예측된 자극에서 벗어나는 정도로 정의할 때, 이는 동적인 혼란스러운 환경에서 보편적인 학습 신호가 될 수 있음을 체계화하는 것.
• 작업에 특화된 보상 설계나 밀도 높은 감독 없이도 균형과 회피와 같은 견고하고 안정적인 행동을 자율적으로 학습할 수 있도록 하는 것.
• 특정 작업 보상 없이도 놀라움 최소화가 일반화 정책 학습의 기초가 될 수 있음을 보여주는 것.

제안 방법

• 관측된 자극의 가능성도를 추정하기 위해 밀도 모델을 훈련함으로써, 놀라움을 음의 로그 가능성으로 정량화하는 방법.
• 낮은 놀라움을 유도하는 자극을 유도하는 행동을 선택하도록 정책을 최적화함으로써, 안정적이고 반복 가능한 환경 상태 탐색을 촉진하는 방법.
• 미래의 관측치를 예측하는 세계 모델을 통합하여, 에이전트가 고엔트로피이자 혼란스러운 상태를 사전에 예측하고 피할 수 있도록 하는 방법.
• 하이브리드 훈련 체계에서 놀라움 최소화를 표준 밀도 보상과 결합하여 후속 작업 학습의 가속화를 도모하는 방법.
• 기대되는 역놀라움을 최대화하도록 강화학습을 통해 정책을 훈련시켜, 예측 가능하고 제어 가능한 환경을 향해 탐색하는 효과적인 방법.
• 로봇 운동 제어 및 비디오 게임 환경을 포함한 연속 제어 및 이산 순차적 결정 문제에 이 방법을 적용하는 방법.

실험 결과

연구 질문

• RQ1 에이전트가 작업에 특화된 보상 없이도 내재된 놀라움 최소화만으로도 동적인 환경에서 안정성을 유지하고 복잡한 행동을 수행할 수 있는가?
• RQ2 놀라움 최소화는 작업에 특화된 보상 함수 없이도 실용적이고 견고한 행동을 발견하는 데 얼마나 효과적인가?
• RQ3 표준 밀도 보상과 결합했을 때, 놀라움 최소화는 후속 작업에서 샘플 효율성을 얼마나 향상시킬 수 있는가?
• RQ4 놀라움 최소화는 복잡한 환경에서 회피, 균형 유지, 전략적 계획과 같은 잠재적 행동을 유도할 수 있는가?

주요 결과

• SMiRL를 사용한 에이전트는 작업에 특화된 보상 설계 없이도 놀라움 최소화를 통해 테트리스를 플레이하며 높은 점수를 기록했다.
• 도모 환경에서 에이전트는 예측 가능하고 낮은 놀라움을 유도하는 경로를 향해 움직이며 적을 회피하고 미로를 탐색하는 행동을 학습했으며, 이는 잠재적인 생존 행동을 보여주었다.
• 인간형 에이전트는 SMiRL로 훈련을 통해 외부 힘에 의해 요동칠 때도 안정적이고 반복 가능한 자세를 향해 움직이며 넘어짐을 줄였다.
• 표준 밀도 보상과 결합했을 때, SMiRL는 후속 작업에서 수렴 속도를 크게 향상시켜 샘플 효율성을 개선했다.
• 이 방법은 작업에 특화된 보상 없이도 경로 탐색 및 물체 조작과 같은 복잡한 목표 지향 행동을 내재된 동기만으로 발견할 수 있도록 했다.
• 놀라움 최소화는 다양한 환경적 요동에 대해 일반화된 견고한 정책을 도출하여, 안정성과 적응성 면에서 기준 방법보다 뛰어난 성능을 보였다.