[논문 리뷰] DARA: Dynamics-Aware Reward Augmentation in Offline Reinforcement Learning

Jinxin Liu, Hongyin Zhang외 1명|arXiv (Cornell University)|2022. 03. 13.

Reinforcement Learning in Robotics인용 수 8

한 줄 요약

DARA는 타겟 환경의 전이 동역학과 다를 수 있는 소스 데이터를 활용하여 대규모 타겟 오프라인 데이터셋에 대한 의존도를 줄이는 다이내믹스 인식 보상 보정 프레임워크를 제안한다. 상태-행동-다음 상태 분포를 기반으로 타겟 환경에서 발생할 가능성이 낮은 전이를 보상으로 보정함으로써, 소규모 타겟 데이터로도 뛰어난 성능을 달성하며, 시뮬레이션 및 실제 작업 모두에서 이전 방법들을 능가한다.

ABSTRACT

Offline reinforcement learning algorithms promise to be applicable in settings where a fixed dataset is available and no new experience can be acquired. However, such formulation is inevitably offline-data-hungry and, in practice, collecting a large offline dataset for one specific task over one specific environment is also costly and laborious. In this paper, we thus 1) formulate the offline dynamics adaptation by using (source) offline data collected from another dynamics to relax the requirement for the extensive (target) offline data, 2) characterize the dynamics shift problem in which prior offline methods do not scale well, and 3) derive a simple dynamics-aware reward augmentation (DARA) framework from both model-free and model-based offline settings. Specifically, DARA emphasizes learning from those source transition pairs that are adaptive for the target environment and mitigates the offline dynamics shift by characterizing state-action-next-state pairs instead of the typical state-action distribution sketched by prior offline RL methods. The experimental evaluation demonstrates that DARA, by augmenting rewards in the source offline dataset, can acquire an adaptive policy for the target environment and yet significantly reduce the requirement of target offline data. With only modest amounts of target offline data, our performance consistently outperforms the prior offline RL methods in both simulated and real-world tasks.

연구 동기 및 목표

• 대규모 타겟 오프라인 데이터셋에 대한 의존도를 줄임으로써 오프라인 강화학습에서 높은 데이터 요구량 문제를 해결하기 위해.
• 소스 및 타겟 환경의 전이 동역학이 다를 경우 발생하는 다이내믹스 시프트 문제를 특성화하고 이를 완화하기 위해. 이는 이전의 오프라인 강화학습 방법에서 일반적으로 간과되는 문제이다.
• 기존의 모델 프리 및 모델 기반 오프라인 강화학습 알고리즘과 통합할 수 있는 일반적이고 단순한 프레임워크를 개발하기 위해.
• 다른 동역학을 가진 소스 환경에서 정상적인 타겟 데이터의 소량만을 사용하여도 효과적인 정책 전이를 가능하게 하기 위해.

제안 방법

• DARA는 상태-행동-다음 상태 트리플의 다이내믹스 인식 모델링을 기반으로, 타겟 환경에서 발생할 가능성이 낮은 전이를 보상으로 보정하는 보상 보정 메커니즘을 도입한다.
• 특정 상태-행동 쌍에 따른 다음 상태의 조건부 분포를 모델링하여, 소스 환경에서는 타당할 수 있지만 타겟 환경에서는 타당하지 않은 전이를 식별하고 억제한다.
• 학습 중 보상 신호를 수정하여 이러한 불일치한 전이에서의 학습을 억제함으로써, 소스 데이터를 타겟 동역학에 효과적으로 맞춘다.
• 이 프레임워크는 모델 프리 및 모델 기반 오프라인 강화학습 알고리즘 모두와 호환되며, 데이터 로더에 최소한의 코드 변경만으로도 구현할 수 있다.
• 소스와 타겟 동역학 간의 격리 정도를 수량화하는 다이내믹스 인식 손실 항목을 사용하여 보상 형상화를 이끈다.
• 이 방법은 MuJoCo 작업에서의 다이내믹스 시프트와 시뮬레이션 및 실제 환경 설정에서의 12-DoF 4족 보행 로봇에서 새로운 벤치마크를 통해 평가되었다.

실험 결과

연구 질문

• RQ1 다른 동역학을 가진 소스 데이터셋을 활용함으로써, 타겟 오프라인 데이터의 최소량으로 오프라인 강화학습 성능을 크게 향상시킬 수 있는가?
• RQ2 소스 및 타겟 환경 간의 다이내믹스 시프트를 오프라인 강화학습에서 명시적으로 모델링하고 완화할 수 있는가?
• RQ3 상태-행동-다음 상태 분포를 기반으로 한 보상 보정이, 서로 다른 동역학을 가진 환경 간의 정책 일반화에 얼마나 기여하는가?
• RQ4 제안된 DARA 프레임워크는 다양한 환경, 특히 실제 로봇 작업을 포함한 환경에서도 성능 향상을 유지하는가?
• RQ5 DARA는 아키텍처 변경 없이 기존의 모델 프리 및 모델 기반 오프라인 강화학습 알고리즘에 원활하게 통합될 수 있는가?

주요 결과

• 표준 타겟 오프라인 데이터의 10%인 1T만으로도 DARA 기반 방법이 D4RL Walker2d 환경에서 벤치마크를 초월하여 정규화 점수 53.8을 기록했으며, 이는 다음으로 높은 벤치마크인 44.6을 상회한다.
• 공동 노이즈 시프트가 있는 Hopper 환경에서 DARA는 1T 데이터로 정규화 점수 111.0을 기록했으며, 벤치마크인 MOPO(98.7) 및 기타 방법들을 크게 능가했다.
• 실제 4족 보행 로봇 작업에서는 DARA가 소량의 타겟 데이터만으로도 강력한 정책 전이를 가능하게 하여, 시뮬레이션을 초월한 강인성을 입증했다.
• 다이내믹스 시프트가 발생하는 다양한 상황(질량, 관절 노이즈 등)에서 D4RL 작업 전반에 걸쳐 DARA가 일관되게 성능 향상을 이뤘다.
• 타겟 데이터가 부족한 상황에서도 성능 저하를 줄였으며, 다이내믹스 인식 보상 형상화가 다이내믹스 시프트의 부정적 영향을 효과적으로 완화함을 보여주었다.
• 소규모 타겟 데이터로도 시뮬레이션 및 실제 작업 모두에서 최신 기술 수준의 성능을 달성하여, DARA의 효과성과 일반화 능력을 확인했다.