[논문 리뷰] Leave no Trace: Learning to Reset for Safe and Autonomous Reinforcement Learning

Benjamin Eysenbach, Shixiang Gu외 2명|arXiv (Cornell University)|2017. 11. 18.

Reinforcement Learning in Robotics참고 문헌 22인용 수 25

한 줄 요약

이 논문은 전진 정책과 환경 복구를 위한 리셋 정책을 동시에 학습시켜 자율적이고 안전한 강화학습을 위한 프레임워크를 제안한다. 가치 기반의 불확실성 추정을 통해 위험한 경로를 사전에 중단함으로써 수동 리셋을 줄이고 자동으로 커리큘럼을 유도함으로써, 복잡한 로봇 작업에서 샘플 효율성과 안전성을 크게 향상시킨다.

ABSTRACT

Deep reinforcement learning algorithms can learn complex behavioral skills, but real-world application of these methods requires a large amount of experience to be collected by the agent. In practical settings, such as robotics, this involves repeatedly attempting a task, resetting the environment between each attempt. However, not all tasks are easily or automatically reversible. In practice, this learning process requires extensive human intervention. In this work, we propose an autonomous method for safe and efficient reinforcement learning that simultaneously learns a forward and reset policy, with the reset policy resetting the environment for a subsequent attempt. By learning a value function for the reset policy, we can automatically determine when the forward policy is about to enter a non-reversible state, providing for uncertainty-aware safety aborts. Our experiments illustrate that proper use of the reset policy can greatly reduce the number of manual resets required to learn a task, can reduce the number of unsafe actions that lead to non-reversible states, and can automatically induce a curriculum.

연구 동기 및 목표

• 에피소드 후 환경을 수동으로 리셋하는 데 의존도를 줄이기 위해 에이전트가 자율적으로 환경을 리셋할 수 있도록 하는 것.
• 이질적인 상태로 이어지는 경로를 사전에 중단함으로써 훈련 중 안전성을 향상시키는 것.
• 리셋 정책을 학습시킴으로써 자동으로 커리큘럼을 유도하여, 에이전트의 능력 향상에 따라 점차 과제 난이도를 높이는 것.
• 모든 상태가 학습된 리셋 정책를 통해 복구 가능하도록 보장함으로써, 복잡한 환경에서 지속적이고 확장 가능한 강화학습을 가능하게 하는 것.

제안 방법

• 전진 정책(작업 수행용)과 리셋 정책(환경 복구용)을 함께 훈련시키며, 두 정책이 번갈아가며 에피소드를 수행한다.
• 리셋 정책의 가치 함수는 초기 상태에 도달하는 데 필요한 비용을 추정하여, 전진 정책이 이질적인 상태에 가까워질 경우 불확실성 인식 기반 조기 중단을 가능하게 한다.
• 불확실성 추정을 위해 Q-네트워크의 앙상블을 사용하여 가치 함수의 편향을 줄이고 조기 중단 결정의 신뢰성을 향상시킨다.
• 탐색과 복구 가능성의 균형을 고려한 리스크 인식 목표 함수를 사용하여, 에이전트가 복구 가능한 상태만 탐색하도록 보장한다.
• 리셋 정책은 초기 상태까지의 거리를 최소화하도록 훈련되며, 그 성공 여부에 따라 점차 안전하고 복구 가능한 상태의 집합이 확장된다.
• 이 방법은 자연스럽게 커리큘럼을 유도한다: 리셋 정책이 향상될수록 전진 정책의 초기 상태가 목표에서 점점 더 멀어지며 과제 난이도가 점진적으로 증가한다.

실험 결과

연구 질문

• RQ1 강화학습 에이전트가 각 에피소드 후 환경을 자율적으로 리셋할 수 있는가, 이로 인해 수동 리셋이 완전히 제거되는가?
• RQ2 가치 기반 리셋 정책이 이질적인 상태 발생 이전에 이를 예측하고 방지할 수 있는가, 이로 인해 훈련 안전성이 향상되는가?
• RQ3 리셋 정책을 학습시키는 것이 자동으로 커리큘럼을 유도하여 희박한 보상 환경에서의 학습 가능성을 높이는가?
• RQ4 가치 함수의 불확실성 추정이 학습 과정의 견고성과 샘플 효율성에 어떤 영향을 미치는가?

주요 결과

• 피그 인서트레이션 작업에서 100만 번째 훈련 스텝 이후 하드 수동 리셋 횟수가 거의 0에 수렴하여, 수동 리셋 전용 베이스라인에서 실패한 학습을 성공적으로 수행할 수 있었다.
• 불확실성 추정에 50개의 Q-네트워크 앙상블을 사용함으로써 학습 안정성이 크게 향상되었고, 하드 리셋 횟수도 감소시켰다.
• 알고리즘은 피그 인서트레이션 작업에서 자동으로 커리큘럼을 유도하여, 랜덤 탐색으로는 학습이 불가능한 희박한 보상 환경에서도 성공적으로 과제를 해결할 수 있었다.
• 실험 결과, 리셋 정책의 가치 함수가 시간이 지남에 따라 커버리지가 증가하여, 점차 더 복잡하고 먼 상태를 안전하게 탐색할 수 있게 되었다.
• 최소한의 인간 간섭으로 안정적인 학습이 가능하여, 실세계 로봇 분야에서 장기적이고 확장 가능한 강화학습의 실현 가능성을 입증했다.
• 조밀한 보상이 없더라도, 향상된 리셋 능력에 따라 초기 상태 분포의 난이도를 점차 높임으로써 성공적인 정책 학습을 가능하게 하였다.