[논문 리뷰] Offline Reinforcement Learning via High-Fidelity Generative Behavior Modeling

Huayu Chen, Cheng Lu외 3명|arXiv (Cornell University)|2022. 09. 29.

Reinforcement Learning in Robotics인용 수 6

한 줄 요약

이 논문은 SfBC를 제안하며, 이는 오프라인 강화학습의 새로운 방법으로, 정책 학습을 고정밀도 생성 행동 모델(확산 모델을 사용)과 행동 평가 모델으로 분리한다. 행동 모델이 생성한 후보 행동들 중에서 학습된 중요도 가중치를 기반으로 행동을 선택함으로써 SfBC는 외부 샘플 행동을 피하고, 특히 AntMaze와 같은 복잡하고 이질적인 환경에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

In offline reinforcement learning, weighted regression is a common method to ensure the learned policy stays close to the behavior policy and to prevent selecting out-of-sample actions. In this work, we show that due to the limited distributional expressivity of policy models, previous methods might still select unseen actions during training, which deviates from their initial motivation. To address this problem, we adopt a generative approach by decoupling the learned policy into two parts: an expressive generative behavior model and an action evaluation model. The key insight is that such decoupling avoids learning an explicitly parameterized policy model with a closed-form expression. Directly learning the behavior policy allows us to leverage existing advances in generative modeling, such as diffusion-based methods, to model diverse behaviors. As for action evaluation, we combine our method with an in-sample planning technique to further avoid selecting out-of-sample actions and increase computational efficiency. Experimental results on D4RL datasets show that our proposed method achieves competitive or superior performance compared with state-of-the-art offline RL methods, especially in complex tasks such as AntMaze. We also empirically demonstrate that our method can successfully learn from a heterogeneous dataset containing multiple distinctive but similarly successful strategies, whereas previous unimodal policies fail.

연구 동기 및 목표

• 오프라인 강화학습에서 단모드 정책 모델의 분포 표현 능력이 제한되어 있음에도 불구하고 가중치 회귀를 통해 외부 샘플 행동을 선택하는 문제를 해결한다.
• 명시적인 정책 파rameterization 없이 정적 데이터셋에서 다양한 다모드 행동을 모델링하는 과제를 극복한다.
• 확산 모델과 같은 표현력 있는 생성 모델을 사용하여 실제 데이터셋에서의 복잡하고 이질적인 행동을 더 잘 포착하는 고정밀도 행동 모델링을 가능하게 한다.
• Q-학습을 위한 암묵적 온샘플 계획 기법과 행동 모델을 조합하여 외삽 오차를 줄이고 샘플 효율성을 향상시킨다.
• 다양한 서로 다른 성공 전략이 존재하는 이질적 데이터셋에서 학습이 가능하다는 것을 입증한다. 이는 단모드 정책 방법과는 대조된다.

제안 방법

• 정책을 생성 행동 모델(확산 기반)과 별도의 행동 평가 모델으로 분리하여 정책의 직접적 파arameterization을 피한다.
• 중요도 표본 추출을 사용하여 행동 모델이 생성한 후보 행동들 중에서 중요도 가중치가 계산된 행동 평가 모델을 기반으로 행동을 선택한다.
• 확산 확률 모델을 활용하여 고정밀도 행동 모델링을 수행하며, 이는 연속 행동 공간에서의 다모드 및 다양한 행동을 정확하게 표현할 수 있도록 한다.
• Q-학습을 위한 암묵적 온샘플 계획 연산자를 도입하여, 부트스트랩핑을 데이터셋 트레이잭터리에만 국한시킴으로써 외삽 오차를 줄인다.
• 중요도 가중치를 행동 모델의 후보 행동에서 유도하여, 데이터셋 수익을 감독으로 사용해 가중치 회귀를 통해 행동 평가 모델을 훈련시킨다.
• 계획을 온샘플 트레이잭터리에 국한시켜 계산 효율성과 수렴성을 확보하며, 비정책 부트스트랩핑에 의존하지 않는다.

실험 결과

연구 질문

• RQ1 고정밀도 생성 행동 모델은 오프라인 RL에서 정책 표현력 향상과 외부 샘플 행동 선택 감소에 기여하는가?
• RQ2 행동 모델링과 행동 평가로 정책 학습을 분리함으로써, 다수의 서로 다른 전략이 존재하는 이질적 데이터셋에서의 일반화 능력 향상이 가능한가?
• RQ3 암묵적 온샘플 계획은 복잡한 오프라인 RL 환경에서 성능과 외삽 오차에 어떤 영향을 미치는가?
• RQ4 확산 기반 모델은 기존의 생성 모델(예: VAE, 가우시안 혼합 모델)보다 복잡한 다모드 행동 분포를 모델링하는 데 더 우수한가?
• RQ5 제안된 방법은 기존의 가중치 회귀 기반 오프라인 RL 알고리즘보다 어떤 설정에서 뚜렷이 슈퍼리어한 성능을 보이는가?

주요 결과

• SfBC는 D4RL 벤치마크에서 최신 기술 수준의 성능을 달성하였으며, 특히 AntMaze-Medium와 AntMaze-Large와 같은 도전적인 환경에서 모든 기준 모델을 압도한다.
• 양방향 자동차 환경에서 SfBC는 시간 제한 내에 항상 한쪽 끝점에 도달할 수 있었고, 단모드 방법들은 극단적 행동 선택에 실패하여 실패했다.
• 이질적 데이터셋(예: Medium-Expert)에서 확산 기반 행동 모델은 VAE 및 가우시안 기반 모델보다 유의미하게 뛰어난 성능을 보이며, 더 뛰어난 분포 표현 능력을 입증했다.
• 암묵적 온샘플 계획은 AntMaze와 같은 복잡하고 보상이 희박한 환경에서 성능 향상에 기여하며, 최적의 성능은 K=3에서 5개의 값 반복 단계에서 관찰되었다.
• SfBC는 서로 다른 전략이 모두 성공적인 데이터셋(예: 트랙의 양 끝점에 도달하는 전략)에서 성공적으로 학습을 수행하였고, 이는 단모드 정책이 이러한 다양성을 포착하지 못하는 것과 대비된다.
• 행동 선택을 온샘플 후보들로 제한함으로써 외삽 오차를 줄였으며, 이는 행동 정책이 매우 다중모드일 경우에도 유효하다.