[논문 리뷰] Action-Quantized Offline Reinforcement Learning for Robotic Skill Learning

Jianlan Luo, Perry Dong외 4명|arXiv (Cornell University)|2023. 10. 18.

Reinforcement Learning in Robotics인용 수 4

한 줄 요약

이 논문은 오프라인 강화학습에서 연속된 행동 공간을 이산화하여 정책 제약과 보수성 정규화 항의 정확한 계산을 가능하게 하는 VQ-VAE 기반 방법인 상태 조건부 행동 이산화(SAQ)를 제안한다. SAQ는 Robomimic의 장기적인 로봇 조작 작업에서 성능을 2–3배 향상시켜 연속된 행동을 사용하는 대안들 및 이전의 오프라인 RL 방법들을 능가한다.

ABSTRACT

The offline reinforcement learning (RL) paradigm provides a general recipe to convert static behavior datasets into policies that can perform better than the policy that collected the data. While policy constraints, conservatism, and other methods for mitigating distributional shifts have made offline reinforcement learning more effective, the continuous action setting often necessitates various approximations for applying these techniques. Many of these challenges are greatly alleviated in discrete action settings, where offline RL constraints and regularizers can often be computed more precisely or even exactly. In this paper, we propose an adaptive scheme for action quantization. We use a VQ-VAE to learn state-conditioned action quantization, avoiding the exponential blowup that comes with naïve discretization of the action space. We show that several state-of-the-art offline RL methods such as IQL, CQL, and BRAC improve in performance on benchmarks when combined with our proposed discretization scheme. We further validate our approach on a set of challenging long-horizon complex robotic manipulation tasks in the Robomimic environment, where our discretized offline RL algorithms are able to improve upon their continuous counterparts by 2-3x. Our project page is at https://saqrl.github.io/

연구 동기 및 목표

• 연속된 행동 오프라인 RL에서 분포 이탈과 과대평가 문제를 해결하기 위해 정책 제약과 보수성 정규화 항의 정확한 구현을 가능하게 하기 위해.
• 일반적인 행동 이산화의 지수적 복잡도를 극복하면서도 적응형 상태 의존적 이산화를 통해 정밀도를 유지하기 위해.
• 로봇 학습에서 흔한 좁은 전문가 시범 데이터셋에서 샘플 효율성과 성능을 향상시키기 위해.
• 연속된 행동 근사치를 정확한 이산 행동 계산으로 대체하여 오프라인 RL 학습을 단순화하고 안정화하기 위해.
• 연속된 오프라인 RL이 실패하는 도전적인 장기적인 로봇 조작 작업에서 방법의 성능을 검증하기 위해.

제안 방법

• 상태 조건부 코드북을 학습하기 위해 VQ-VAE를 사용하여 상태에서 이산 행동 임베딩으로 매핑함으로써 적응형 행동 이산화를 가능하게 한다.
• 상태에 따라 행동을 이산화함으로써 각 상태에 관련된 가장 분포에 맞는 행동 원소들만 학습함.
• 세 가지 최신 오프라인 RL 알고리즘인 IQL, CQL, BRAC에 이산 행동 공간을 적용하여 정책 제약과 보수적 가치 함수의 정확한 계산을 가능하게 함.
• 행동 시범 데이터를 기반으로 VQ-VAE를 훈련시켜 지수적 팽창을 피하는 작고 임무에 맞는 행동 코드북을 학습함.
• 학습된 코드북을 사용해 RL 알고리즘 내의 연속된 행동을 대체함으로써 근사 오류 없이 정밀하고 안정적인 학습을 가능하게 함.
• 두 단계 훈련 프로세스를 사용함: 먼저 시범 데이터에서 VQ-VAE를 사전 훈련하고, 이후 이산 행동 공간을 사용해 RL 정책을 미세 조정함.

Figure 1: Left : Training SAQ. Right : Discrete policy training/evaluation with SAQ. SAQ learns a scalar discrete representation of continuous actions using state-conditioned VQ-VAE. During policy training and evaluation time, we use the decoder of SAQ to reconstruct the continuous actions from the

실험 결과

연구 질문

• RQ1 상태 조건부 행동 이산화가 좁은 전문가 시범 데이터셋에서 오프라인 RL 알고리즘의 성능을 향상시킬 수 있는가?
• RQ2 이산 행동 공간이 보수성과 정책 제약의 정확한 계산을 가능하게 하여 오프라인 RL에서 흔한 근사 오류를 줄이는가?
• RQ3 SAQ는 장기적인 로봇 조작 작업에서 연속된 행동 오프라인 RL과 비교해 어떻게 성능을 냈는가?
• RQ4 SAQ는 Robomimic과 같은 도전적인 로봇 환경에서 오프라인 RL이 이mitation learning 기반 모델을 능가하도록 할 수 있는가?
• RQ5 적응형 상태 의존적 이산화가 샘플 효율성과 학습 안정성에 어떤 영향을 미치는가?

주요 결과

• SAQ는 Robomimic 환경에서 연속된 행동 오프라인 RL 방법과 비교해 장기적인 로봇 조작 작업에서 성능을 2–3배 향상시켰다.
• Robomimic 전문가 수준 인간 데이터셋에서 SAQ-IQL은 리프트 작업에서 90.8%의 성공률을 기록하여 연속된 IQL 기반 모델의 58%보다 뛰어났다.
• SAQ-CQL는 리프트 작업에서 92.7%의 성공률을 기록하여 연속된 CQL 결과인 64.2%를 크게 상회했다.
• 운반 작업에서는 SAQ-BC가 66.4%의 성공률을 기록하여 연속된 BC 기반 모델의 31.73%를 뛰어넘었다.
• 모든 Robomimic 작업의 평균 성공률은 SAQ-BC의 경우 41.71%에서 원본 Robomimic BC 기반 모델의 64.12%로 상승하여 SAQ의 뛰어난 일반화 능력을 보여주었다.
• 이 방법은 보수성과 정책 제약의 정확한 이행을 가능하게 하여 연속된 행동 설정에서 흔히 발생하는 근사 오류를 제거했다.

Figure 2: Left : visualization of the maze2d environment. Middle : the average return of SAQ-CQL and continuous CQL over the course of offline training. Right : estimated and exact CQL conservatism penalty values. The estimated conservative penalty for continuous-action CQL diverges significantly fr