[논문 리뷰] Is Curiosity All You Need? On the Utility of Emergent Behaviours from Curious Exploration

Oliver Groth, Markus Wulfmeier외 6명|arXiv (Cornell University)|2021. 09. 17.

Reinforcement Learning in Robotics참고 문헌 34인용 수 7

한 줄 요약

이 논문은 강화학습에서 탐색 동기를 부여하는 과정에서 유도된 행동을 유지하는 방법을 제안하며, 이러한 행동은 비록 일시적일지라도 후행 작업의 전이에 활용될 수 있다고 주장한다. 오프-폴리시 컨피셔스 방법(SelMo)을 사용하여 저자들은 단순한 정책 스냅샷이 다양한 유용한 행동을 포착할 수 있음을 보여주며, 이는 복잡한 조작 및 운동 작업에서 수작업으로 설계된 커리큘럼과 비교해도 성능이 유사함을 시사한다.

ABSTRACT

Curiosity-based reward schemes can present powerful exploration mechanisms which facilitate the discovery of solutions for complex, sparse or long-horizon tasks. However, as the agent learns to reach previously unexplored spaces and the objective adapts to reward new areas, many behaviours emerge only to disappear due to being overwritten by the constantly shifting objective. We argue that merely using curiosity for fast environment exploration or as a bonus reward for a specific task does not harness the full potential of this technique and misses useful skills. Instead, we propose to shift the focus towards retaining the behaviours which emerge during curiosity-based learning. We posit that these self-discovered behaviours serve as valuable skills in an agent's repertoire to solve related tasks. Our experiments demonstrate the continuous shift in behaviour throughout training and the benefits of a simple policy snapshot method to reuse discovered behaviour for transfer tasks.

연구 동기 및 목표

• 연속 제어 환경에서 탐색 동기를 부여하는 과정 중에 나타나는 유도 행동이 후행 작업 학습에 유용한지 조사하는 것.
• 탐색 동기를 부여하는 과정에서 목적의 변화와 치명적인 잊힘으로 인해 행동이 나타나고 사라지는 문제를 해결하는 것.
• 이러한 일시적인 행동을 식별하고 계층적 학습 환경에서 재사용 가능한 스킬로 활용할 수 있는 방법을 제안하는 것.
• 탐색 학습 과정에서 스스로 발견한 행동이 수작업으로 설계된 커리큘럼 학습 방법의 성능을 따라하거나 뛰어넘을 수 있는지 평가하는 것.
• 탐색 동기를 부여하는 과정을 단순한 탐색 수 Mitt이 아니라 지속적 학습을 위한 자기지도 스킬 레파지토리의 원천으로 활용할 수 있는지의 가능성을 탐색하는 것.

제안 방법

• 상태 전이의 예측 오차를 최대화함으로써 외부 보상 조정 없이도 새로운 상태를 탐색하도록 유도하는 정책을 훈련하는 방식으로, 정책 예측 모델을 사용한 이론적 탐색 동기 기반의 오프-폴리시 구현인 SelMo를 제안한다.
• 상태 전이에 대한 예측 오차를 최대화함으로써 외부 보상 조정 없이도 새로운 상태를 탐색하도록 정책을 훈련한다.
• 훈련 단계의 다양한 시점에서 정책 스냅샷을 수집하고 저장하여 시간에 따라 나타나는 다양한 행동을 표현한다.
• 이 스냅샷을 후행 작업을 위한 계층적 강화학습 환경에서 고정된 재사용 가능한 스킬로 사용한다.
• 각 스냅샷을 별도로 미세조정하는 모듈러한 훈련 파이프라인을 활용하여, 다시 시작하지 않고도 스킬을 재사용할 수 있도록 한다.
• 시뮬레이션 환경에서 9-DoF JACO 팔과 20-DoF OP3 인간형 로봇 환경에서 성능을 평가한다.

실험 결과

연구 질문

• RQ1 탐색 동기를 부여하는 과정에서 나타나는 행동을 식별하고 후행 작업을 위한 재사용 가능한 스킬로 유지할 수 있는가?
• RQ2 커서리티 기반 스냅샷에 기반한 정책의 성능이 복잡한 조작 및 운동 작업에서 수작업으로 설계된 커리큘럼과 비교해 어떻게 되는가?
• RQ3 명시적인 보상 조정 없이도 탐색 학습 과정에서 스스로 발견한 행동이 다양한 작업 관련 스킬을 얼마나 잘 포괄하는가?
• RQ4 오프-폴리시 훈련 방식이 온-폴리시 컨피셔스 방법 대비 행동의 다양성과 안정성 향상에 기여하는가?
• RQ5 추가적인 보상 설계 없이도 단순한 스냅샷 기반 방법이 작업 간 스킬을 효과적으로 전이할 수 있는가?

주요 결과

• 3D 로봇 환경에서 탐색 동기를 부여하는 과정 중에 도약, 잡기, 들어올리기, 걷기 자세와 같은 복잡하고 다양한 행동이 자연스럽게 유도된다.
• 정책 스냅샷을 재사용 가능한 스킬로 활용함으로써 JACO와 OP3 로봇에서의 후행 조작 작업에서 수작업으로 설계된 커리큘럼과 유사한 성능을 달성한다.
• 탐색 동기의 목적 변화에도 불구하고 유의미한 비율의 행동이 안정적이며 작업 간 전이 가능함을 확인하여, 이러한 행동이 내재된 스킬로서의 유용성을 입증한다.
• 오프-폴리시 구현(SelMo)은 온-폴리시 대비 더 다양한 행동과 더 안정적인 행동 유도를 이끌어내어 데이터 효율성과 스킬 다양성을 향상시킨다.
• 이 방법은 탐색 동기를 부여하는 과정이 단순한 탐색 수 Mitt이 아니라 자기지도 스킬 레파지토리의 원천이 될 수 있음을 보여준다.
• 명시적인 보상 조정 없이도 스스로 발견한 행동이 광범위한 작업 관련 스킬을 커버함을 확인하여, 장기 수평 및 다중 작업 환경으로의 확장 가능성에 대한 시사점을 제공한다.