[논문 리뷰] Ready Policy One: World Building Through Active Learning

Philip Ball, Jack Parker-Holder외 3명|arXiv (Cornell University)|2020. 02. 07.

Reinforcement Learning in Robotics참고 문헌 51인용 수 8

한 줄 요약

Ready Policy One (RP1)는 모델 기반 강화학습(MBRL)을 위한 새로운 주도 학습 프레임워크를 도입하여, 데이터 수집 중 보상 극대화와 모델 불확실성 감소 사이의 균형을 동적으로 조정한다. 실시간으로 탐색-이용 균형을 조정하고 조기 정지 메커니즘을 사용함으로써, RP1은 연속 제어 벤치마크 전반에서 뛰어난 샘플 효율성 향상을 달성하며, 기존의 MBRL 방법들보다 통계적으로 유의미한 개선을 보였다.

ABSTRACT

Model-Based Reinforcement Learning (MBRL) offers a promising direction for sample efficient learning, often achieving state of the art results for continuous control tasks. However, many existing MBRL methods rely on combining greedy policies with exploration heuristics, and even those which utilize principled exploration bonuses construct dual objectives in an ad hoc fashion. In this paper we introduce Ready Policy One (RP1), a framework that views MBRL as an active learning problem, where we aim to improve the world model in the fewest samples possible. RP1 achieves this by utilizing a hybrid objective function, which crucially adapts during optimization, allowing the algorithm to trade off reward v.s. exploration at different stages of learning. In addition, we introduce a principled mechanism to terminate sample collection once we have a rich enough trajectory batch to improve the model. We rigorously evaluate our method on a variety of continuous control tasks, and demonstrate statistically significant gains over existing approaches.

연구 동기 및 목표

• 헤우리스틱 기반 탐색의 비효율성으로 인해 MBRL에서 반복되거나 정보가 부족한 데이터 수집이 빈번히 발생하는 문제를 해결하기 위해.
• 탐색 온도와 같은 고정된 초모수에 대한 의존도를 줄이기 위해, 수동 조정이 필요하고 유연성에 제약이 있는 설정을 피하기 위해.
• MBRL의 데이터 수집을 주도 학습 문제로 재정의하여, 최소한의 샘플로 모델 향상을 극대화하는 정책을 최적화하기 위해.
• 별도의 '이용' 정책이 필요 없도록 하기 위해, 데이터 수집 정책이 실제 환경에서 효과적이면서 동시에 세계 모델 훈련에 정보적인 자료를 제공하도록 보장하기 위해.
• 충분한 모델 향상이 달성되면 데이터 수집을 종료하는 원칙적인 조기 정지 메커니즘을 도입하여 부과적인 반복을 줄이기 위해.

제안 방법

• RP1은 기대 수익과 모델 불확실성 감소를 동시에 최적화하는 하이브리드 목표 함수를 제안하며, 동적으로 조정되는 무게 계수 λ를 사용한다.
• 무게 계수 λ는 실시간으로 온라인 기울기 하강법을 사용해 학습함으로써, 알고리즘이 현재 최적화 환경에 따라 보상과 탐색에 집중할 수 있도록 한다.
• 다음 상태 예측 분산 대신 보상 예측 분산을 내재적 불확실성 신호로 사용함으로써, 태스크 관련 역학과 더 잘 일치하는 탐색을 유도한다.
• 모델 성능 향상의 경계 기여도를 기반으로 조기 정지 기준을 적용하며, 향상 평탄화 시 데이터 수집을 중단하여 불필요한 샘플링을 방지한다.
• 프레임워크는 다이나 스타일의 MBRL 파라다임 내에서 작동하여, 다양한 작업 간 이식성과 학습된 세계 모델을 활용한 효율적 계획을 가능하게 한다.
• 이 방법은 기존의 MBRL 아키텍처와 수직적 관계를 유지하므로, 확률적 신경망 또는 변분 오토인코더와 같은 최첨단 세계 모델과의 통합이 가능하다.

실험 결과

연구 질문

• RQ1 주도 학습 원칙을 MBRL에 효과적으로 적용하여 데이터 수집의 샘플 효율성을 향상시킬 수 있는가?
• RQ2 학습 중 탐색-이용 균형을 동적으로 조정할 경우, 고정된 초모수 대비 학습 성능에 어떤 영향을 미치는가?
• RQ3 보상 예측 분산을 불확실성 신호로 사용할 경우, 다음 상태 예측 분산 대비 정보적인 탐색을 이끄는 데 더 효과적인가?
• RQ4 탐색 계수 λ에 대한 온라인 학습 메커니즘이 정적 또는 수동 조정된 값에 비해 성능 향상에 얼마나 기여하는가?
• RQ5 트레이젝터리 수집을 위한 조기 정지 메커니즘이 최종 정책 성능을 훼손하지 않으면서도 부과적인 반복을 줄이고 샘플 효율성을 향상시키는 데 얼마나 기여하는가?

주요 결과

• HalfCheetah 환경에서 RP1은 10^5 타임스텝 시점에 중앙값 성능 390.49를 기록하여 기준값 283.27보다 유의미하게 높게 나타났다.
• Ant 환경에서는 RP1이 중앙값 수익 238.4를 달성했으며, 기준값 186.36과 RP1 (λ=0) 변형의 223.21보다 뚜렷한 향상을 보였다.
• Hopper 환경에서는 RP1이 중앙값 수익 619.73을 기록하여 기준값 487.25와 두 가지 아블레이션 변형을 모두 앞서며 다양한 작업에 대한 강건성을 입증했다.
• 아블레이션 연구에서 온라인 λ 적응 기능을 제거한 RP1 (λ=0)는 Swimmer 환경에서 성능 저하(41.14 vs. 64.19)를 보였으며, 동적 무게 조정의 중요성을 입증했다.
• 다음 상태 분산을 불확실성 신호로 사용한 것은 보상 분산 대비 성능이 열등했으며, 그 결과로 그림 3과 표 2에서 낮은 중앙값 수익과 넓은 사분위 범위가 관찰되었다.
• 조기 정지 메커니즘이 샘플 효율성 향상에 크게 기여했으며, 동일한 정책을 사용하더라도 RP1 (No EarlyStop) 변형이 성능이 열등하여 부과적인 데이터 수집이 성능에 악영향을 미친다는 점을 시사했다.