[논문 리뷰] Improving TD3-BC: Relaxed Policy Constraint for Offline Learning and Stable Online Fine-Tuning

Alex Beeson, Giovanni Montana|arXiv (Cornell University)|2022. 11. 21.

Reinforcement Learning in Robotics인용 수 8

한 줄 요약

이 논문은 TD3-BC에 대해 오프라인 훈련 중 행동 코딩(BC)의 영향을 동적으로 감소시키는 완화된 정책 제약 조건을 제안하여, 원래 베이스라인을 초월하는 정교한 정책을 가능하게 한다. 이 방법은 D4RL 벤치마크에서 뛰어난 성능을 기록하며, 성능 저하 없이 안정적인 온라인 피니튜닝을 가능하게 한다.

ABSTRACT

The ability to discover optimal behaviour from fixed data sets has the potential to transfer the successes of reinforcement learning (RL) to domains where data collection is acutely problematic. In this offline setting, a key challenge is overcoming overestimation bias for actions not present in data which, without the ability to correct for via interaction with the environment, can propagate and compound during training, leading to highly sub-optimal policies. One simple method to reduce this bias is to introduce a policy constraint via behavioural cloning (BC), which encourages agents to pick actions closer to the source data. By finding the right balance between RL and BC such approaches have been shown to be surprisingly effective while requiring minimal changes to the underlying algorithms they are based on. To date this balance has been held constant, but in this work we explore the idea of tipping this balance towards RL following initial training. Using TD3-BC, we demonstrate that by continuing to train a policy offline while reducing the influence of the BC component we can produce refined policies that outperform the original baseline, as well as match or exceed the performance of more complex alternatives. Furthermore, we demonstrate such an approach can be used for stable online fine-tuning, allowing policies to be safely improved during deployment.

연구 동기 및 목표

• 데이터셋에 없는 행동으로 인해 누적 오류가 발생하는 오프라인 강화학습에서 과도한 추정 편향을 해결한다.
• TD3-BC에서 고정된 행동 코딩(BC) 가중치의 한계를 극복하여, 시연된 행동을 초월한 정책 향상을 가능하게 한다.
• 오프라인 사전 훈련 후에 성능 붕괴 없이 안정적인 온라인 피니튜닝을 가능하게 한다.
• 최소한의 하이퍼파라미터 튜닝을 유지하면서 최신 기술 수준의 성능을 유지하거나 초월한다.

제안 방법

• 오프라인 훈련 중 시간이 지남에 따라 행동 코딩의 영향을 줄이는 동적 BC 가중치 스케줄을 도입한다.
• 이 완화를 TD3-BC에 적용하여 정책 업데이트 목표를 BC 지시 행동에서 정책 그래เดียน트 최적화로 점차 전환하도록 수정한다.
• BC 계수 α에 대해 감쇠 스케줄을 적용하여, 초기에는 과도한 추정을 방지하기 위해 높게 설정하고 점차 감소시켜 더 나은 행동 탐색을 허용한다.
• Q-값과 상태를 정규화하여 훈련을 안정화하고 다양한 환경 간 일관된 스케일링을 보장한다.
• 표준 RL 업데이트 규칙을 사용하여 개선된 정책을 온라인 피니튜닝에 적용하여 배포 중 안정성을 유지한다.
• D4RL-v2 벤치마크를 사용하여 평균 정규화 점수를 50회 평가의 평균과 표준편차로 성능을 추적한다.

실험 결과

연구 질문

• RQ1 오프라인 훈련 중 행동 코딩 성분을 동적으로 감소시킴으로써 고정 BC 기반 모델을 초월하는 정책 성능 향상을 달성할 수 있는가?
• RQ2 TD3-BC가 성능을 발휘하지 못하는 열악한 또는 중간 복제 데이터셋에서 제안된 정책 개선 과정이 성능 향상에 기여하는가?
• RQ3 성능 저하 없이 배포 중에 안전하게 온라인 피니튜닝이 가능한가?
• RQ4 다양한 오프라인 RL 벤치마크에서 개선된 정책의 성능은 최신 기술 수준의 방법과 비교해 어떻게 되는가?
• RQ5 표준 TD3-BC 정책이 아닌 개선된 오프라인 정책에서 시작할 경우, 온라인 피니튜닝의 안정성이 유지되는가?

주요 결과

• 모든 중간 및 중간 복제 D4RL 작업에서 개선된 정책(PR)이 원래 TD3-BC 베이스라인을 모두 초월한다. 특히 hopper-medium-replay에서 91.9 ± 11.1 vs. 91.5 ± 15.8을 기록한다.
• 전문가 수준의 데이터에서는 개선된 정책가 TD3-BC 및 최신 기술 수준의 방법과 동등하거나 이를 초월하며, walker2d-medium-expert에서 119.1 ± 2.8의 점수를 기록한다.
• 온라인 피니튜닝은 베이스라인 및 개선된 정책 양자 모두를 향상시키며, 피니튜닝 후 walker2d-expert에서 개선된 정책은 121.4 ± 1.9의 점수를 기록한다.
• 학습 곡선은 모든 환경에서 온라인 피니튜닝 중 안정적인 성능을 보이며, hopper-medium-expert를 제외한 모든 환경에서 성능 저하가 최소한이다.
• 이 방법은 단순성과 최소한의 하이퍼파라미터 튜닝을 유지하면서도 더 복잡한 대안들을 능가하는 성능을 기록하며, 구현이 용이하다.
• 이 방법은 데이터 품질에 대해 강건하다: 성능 향상은 특히 TD3-BC가 가장 어려움을 겪는 열악한 데이터셋에서 가장 뚜렷하다.