[논문 리뷰] When does return-conditioned supervised learning work for offline reinforcement learning?

David Brandfonbrener, Alberto Bietti외 3명|arXiv (Cornell University)|2022. 06. 02.

Reinforcement Learning in Robotics인용 수 4

한 줄 요약

이 논문은 오프라인 강화학습에서 리턴 조건부 지도학습(RCSL)이 언제 성공하는지 조사한다. 이론적으로는 거의 결정론적 동역학, 알려진 리턴 조건부 값, 그리고 데이터셋 내 충분한 리턴 커버리지라는 강력한 가정 하에서만 최적의 정책을 달성함을 보여준다. 실험 결과는 이러한 이론적 한계를 확인하며, RCSL이 확률적 또는 커버리지가 낮은 환경에서는 실패함을 드러내지만, 동적 프ogramming 방법에 비해 단순성과 확장성은 유지됨을 시사한다.

ABSTRACT

Several recent works have proposed a class of algorithms for the offline reinforcement learning (RL) problem that we will refer to as return-conditioned supervised learning (RCSL). RCSL algorithms learn the distribution of actions conditioned on both the state and the return of the trajectory. Then they define a policy by conditioning on achieving high return. In this paper, we provide a rigorous study of the capabilities and limitations of RCSL, something which is crucially missing in previous work. We find that RCSL returns the optimal policy under a set of assumptions that are stronger than those needed for the more traditional dynamic programming-based algorithms. We provide specific examples of MDPs and datasets that illustrate the necessity of these assumptions and the limits of RCSL. Finally, we present empirical evidence that these limitations will also cause issues in practice by providing illustrative experiments in simple point-mass environments and on datasets from the D4RL benchmark.

연구 동기 및 목표

• 오프라인 강화학습에서 리턴 조건부 지도학습(RCSL)의 이론적 보장과 실패 원인을 철저히 분석하는 것.
• RCSL이 최적의 정책을 복원할 수 있는 필수 및 충분한 조건을 규명하고, 전통적인 동적 프로그래밍(DP) 방법과 비교하는 것.
• 합성 환경과 D4RL 벤치마크 데이터셋을 사용하여 이론적 한계를 실험적으로 검증하는 것.
• 성능 및 내성 면에서 RCSL, 행동 클로닝(BC), DP 기반 알고리즘 간의 관계를 명확히 하는 것.
• RCSL이 오프라인 RL의 일반적 솔루션으로 기능할 수 있는지, 아니면 특정 구조화된 설정에 국한되는지 평가하는 것.

제안 방법

• RCSL은 전문가 트레이젝터리 데이터셋을 기반으로 최대우도추정법을 사용해 상태와 궤적 리턴을 조건으로 하는 행동 예측 정책을 학습한다.
• 이 방법은 경험적 음의 로그우도 손실을 최소화한다: $\hat{L}(\pi) = -\sum_{\tau \in \mathcal{D}} \sum_{t=1}^{H} \log \pi(a_t | s_t, g(\tau))$.
• 추론 시, 정책은 함수 $f(s)$를 통해 목표 리턴에 조건부로 설정되며, $\pi_f(a|s) = \pi(a|s, f(s))$로 정의된다.
• 이론적 분석은 RCSL이 최적의 정책을 복원할 수 있는 조건을 유도하며, 이는 거의 결정론적 동역학과 데이터셋 내 전체 리턴 지지도 포함된다.
• 실험적 평가는 포인트 매스 환경과 D4RL 벤치마크 데이터셋을 사용해 리턴 커버리지, 확률성, 행동 정책 품질 변화에 따른 성능을 테스트한다.
• 비교 실험에는 DP 기반 방법(TD3+BC, IQL), BC 기반 베이스라인, RCSL 변종(예: 디시전 트랜스포머)이 포함되며, 하이퍼파ram터 튜닝과 다수의 랜덤 시드를 사용한다.

실험 결과

연구 질문

• RQ1 RCSL이 최적의 정책을 복원하는 조건는 무엇이며, 이는 동적 프로그래밍(DP) 방법이 요구하는 가정과 어떻게 비교되는가?
• RQ2 RCSL의 이론적 실패 모드는 무엇이며, 실제로는 어떻게 나타나는가?
• RQ3 희박한 보상, 확률적 동역학, 또는 낮은 데이터셋 커버리지가 있는 환경에서 RCSL은 BC 및 DP 기반 알고리즘에 비해 어떻게 성능을 내는가?
• RQ4 RCSL은 실제 오프라인 RL 벤치마크에 일반화 가능한가, 아니면 특정 고품질 데이터 환경에 국한되는가?
• RQ5 RCSL는 지도학습의 단순성은 그대로 유지하면서 행동 클로닝의 단점을 피할 수 있는가?

주요 결과

• RCSL은 DP보다 더 강력한 가정이 필요한 조건에서만 최적의 정책을 복원한다. 이는 거의 결정론적 동역학과 데이터셋 내 목표 리턴의 전체 지지가 필요하다.
• 확률적 동역학이나 희박한 리턴 환경에서는 RCSL이 양의 리턴조차 학습하지 못하며, 이는 리턴이 존재하지 않는 앤테마즈 희박보상 설정에서 명백하다.
• D4RL 벤치마크에서 RCSL은 TD3+BC와 IQL과 같은 DP 기반 방법보다 대부분의 작업에서 열등한 성능을 보이며, 특히 높은 확률성(예: antmaze-medium-play)을 가진 작업에서 두드러진다.
• 행동 정책가 고품질이지만 최적은 아닌 경우, 예를 들어 pen-human 데이터셋에서만 RCSL은 잘 작동한다. 이는 풍부한 보상과 제한된 커버리지로 인해 리턴 조건부 학습이 BC를 초월할 수 있기 때문이다.
• 이론적 분석은 RCSL이 궤적 수준의 리턴 정보에 의존하므로, 데이터셋 내 최고의 궤적에 의해 본질적으로 제한되며, 최적 성능을 달성하기 위해 수평선 길이에 따라 지수적 표본 복잡도가 필요하다는 것을 보여준다.
• 단순성과 확장성에도 불구하고 RCSL은 나쁜 데이터셋 커버리지나 확률적 동역학에서 회복하지 못하므로 오프라인 RL의 일반적 솔루션이 될 수 없다. 이는 DP 방법과는 대조된다.