[논문 리뷰] CORL: Research-oriented Deep Offline Reinforcement Learning Library

Denis Tarasov, Alexander Nikulin외 3명|arXiv (Cornell University)|2022. 10. 13.

Reinforcement Learning in Robotics인용 수 9

한 줄 요약

CORL은 딥 오프라인 및 오프라인-온라인 강화학습을 위한 연구 중심의 단일 파일 라이브러리로, D4RL에서 재현 가능한 벤치마킹과 실험 추적 기능을 통합한 16개 알고리즘의 최소화되고 투명한 구현을 제공합니다. 핵심 구현 세부사항을 분리함으로써 빠른 프로토타이핑과 신뢰할 수 있는 비교를 가능하게 하며, 10종의 오프라인 및 6종의 오프라인-온라인 방법에 대해 클라우드 기반 메트릭과 성능 기준을 제공합니다.

ABSTRACT

CORL is an open-source library that provides thoroughly benchmarked single-file implementations of both deep offline and offline-to-online reinforcement learning algorithms. It emphasizes a simple developing experience with a straightforward codebase and a modern analysis tracking tool. In CORL, we isolate methods implementation into separate single files, making performance-relevant details easier to recognize. Additionally, an experiment tracking feature is available to help log metrics, hyperparameters, dependencies, and more to the cloud. Finally, we have ensured the reliability of the implementations by benchmarking commonly employed D4RL datasets providing a transparent source of results that can be reused for robust evaluation tools such as performance profiles, probability of improvement, or expected online performance.

연구 동기 및 목표

• 연구자들이 알고리즘 이해와 수정을 방해하는 기존 모듈러 RL 라이브러리의 복잡성과 추상화 장벽을 해소하기 위해.
• 딥 오프라인 및 오프라인-온라인 강화학습 알고리즘의 최소화되고 단일 파일 기반의 구현을 제공하여 가독성 향상과 실험 용이성을 향상시키기 위해.
• 일관된 초모수 설정과 로깅을 통해 모든 알고리즘을 표준 D4RL 데이터셋에서 벤치마킹하여 재현성과 신뢰성을 확보하기 위해.
• 메트릭, 초모수, 종속성 등을 클라우드에 자동 로깅하는 Weights & Biases와 같은 실험 추적 도구 통합을 통해 고도화된 분석을 지원하기 위해.
• 성능 프로파일과 누적 회귀 메트릭을 포함한 투명하고 재사용 가능한 결과를 발표함으로써 향후 연구를 위한 기준 벤치마크를 제공하기 위해.

제안 방법

• 각 알고리즘은 환경, 알고리즘, 평가 설정을 명확하고 유지보수 용이하게 분리한 단일 파일 파이썬 스크립트(~400~600라인)로 구현됩니다.
• YAML 설정 파일을 사용해 초모수, 환경 설정, 학습 구성 정보를 명시함으로써 실험 설정과 재현성을 쉽게 구현할 수 있습니다.
• Weights & Biases와의 통합을 통해 메트릭, 초모수, 종속성 정보를 클라우드에 자동 로깅하여 투명하고 추적 가능한 분석을 가능하게 합니다.
• 모든 구현은 D4RL 스위트에서 철저히 벤치마킹되며, 게재된 베이스라인과의 비교를 통해 정확성과 일관성을 확보합니다.
• 표준 오프라인 RL(예: CQL, IQL, BCQ)과 새로운 오프라인-온라인 방법(예: ReBRAC, Cal-QL, SPOT)을 모두 지원하며, 온라인 미세조정 실험도 가능합니다.
• 평균 수익, 성공률, 누적 회귀 등의 표준 메트릭을 사용해 성능을 평가하며, 4개의 랜덤 시드를 기반으로 통계적 유의성 분석을 수행합니다.

실험 결과

연구 질문

• RQ1 오프라인 RL 알고리즘의 최소화된 단일 파일 구현은 연구의 투명성과 재현성에 어떻게 기여할 수 있는가?
• RQ2 단일 파일 구현은 모듈러 라이브러리 대비 성능을 유지하면서도 가독성과 수정 용이성을 얼마나 향상시키는가?
• RQ3 다양한 오프라인-온라인 미세조정 전략(예: ReBRAC, Cal-QL, AWAC)은 D4RL 벤치마크에서 누적 회귀와 최종 성능 측면에서 어떻게 비교되는가?
• RQ4 CQL와 같은 경량이고 종속성 최소화된 라이브러리가 기능 완전성 손실 없이도 오프라인 RL에 대한 신뢰할 수 있는 기준 벤치마크로 기능할 수 있는가?
• RQ5 AntMaze 및 Adroit 환경에서 오프라인-온라인 방법을 비교할 때 성능 프로파일과 개선 확률 메트릭으로부터 도출할 수 있는 통찰은 무엇인가?

주요 결과

• ReBRAC와 IQL은 온라인 미세조정 후 AntMaze 및 Adroit 환경에서 가장 높은 평균 성능을 기록했으며, ReBRAC는 평균 누적 회귀 0.19(19%)를 기록해 다음으로 좋은 방법의 0.47보다 뚜렷이 우수했다.
• AWAC는 온라인 미세조정에서 빈약한 성능을 보였으며, 평균 누적 회귀 0.82를 기록해 복잡한 과제에서 온라인 적응의 이점을 얻지 못했다.
• CQL과 Cal-QL은 성능 차이가 미미했으며, D4RL 과제에서 Cal-QL이 CQL을 유의미하게 뛰어넘는 경우가 없었고, 제안된 수정으로 인한 이점이 제한적이었다.
• AntMaze에서는 CQL과 Cal-QL이 가장 높은 오프라인 성능를 기록했지만, 양측 모두 Adroit 과제를 해결하지 못했으며, 이는 고차원 제어 문제로의 일반화 능력에 한계가 있음을 시사했다.
• IQL과 ReBRAC만이 미세조정 후 Adroit 과제에서 성능을 뚜렷이 향상시켰으며, ReBRAC는 antmaze-large-diverse-v2에서 평균 수익 28.41점의 개선을 기록했다.
• 성능 프로파일과 개선 확률 분석 결과, ReBRAC는 온라인 튜닝 후 비교에서 75%의 경우에서 다른 방법들을 압도하며 가장 강력한 베이스라인임을 확인했다.