[논문 리뷰] For SALE: State-Action Representation Learning for Deep Reinforcement Learning

Scott Fujimoto, Wei-Di Chang외 4명|arXiv (Cornell University)|2023. 06. 04.

Reinforcement Learning in Robotics인용 수 16

한 줄 요약

이 논문은 저수준 상태 RL을 위한 상태-행동 임베딩 학습용 SALE를 도입하고, TD3와 통합하여 TD7로 확장(체크포인트 및 오프라인 지원 포함)하며, MuJoCo 및 D4RL 벤치마크에서 온라인 및 오프라인 성능의 큰 향상을 보인다.

ABSTRACT

In the field of reinforcement learning (RL), representation learning is a proven tool for complex image-based tasks, but is often overlooked for environments with low-level states, such as physical control problems. This paper introduces SALE, a novel approach for learning embeddings that model the nuanced interaction between state and action, enabling effective representation learning from low-level states. We extensively study the design space of these embeddings and highlight important design considerations. We integrate SALE and an adaptation of checkpoints for RL into TD3 to form the TD7 algorithm, which significantly outperforms existing continuous control algorithms. On OpenAI gym benchmark tasks, TD7 has an average performance gain of 276.7% and 50.7% over TD3 at 300k and 5M time steps, respectively, and works in both the online and offline settings.

연구 동기 및 목표

• 이미지 기반 과제를 넘어 저수준 상태 RL에 대한 표현 학습의 필요성에 동기를 부여한다.
• 잠재 동역학을 예측하는 상태 및 행동 임베딩을 공동으로 학습하기 위해 SALE를 제안한다.
• 온라인 및 오프라인 RL 설정에 대한 설계 선택을 평가한다.
• SALE를 체크포인트 및 기존 TD3 개선과 결합하면 우수한 성능을 낳음을 보여준다.

제안 방법

• 인코더 f와 g를 사용하여 상태 및 상태-행동 임베딩을 학습한다: zs = f(s) 및 zsa = g(zs, a).
• 다음 상태 임베딩 zs′와의 MSE를 최소화하도록 L(f,g) 동역학 예측 손실로 인코더를 학습한다(정지-그라디언트 포함).
• 값 함수 Q 및 정책 π에 대해 임베딩을 원래의 상태/행동 입력과 연결한다: Q(zsa, zs, s, a) 및 π(zs, s).
• 인코더 학습을 값/정책 업데이트로부터 분리한다; AvgL1Norm를 적용하여 임베딩 규모를 안정화한다.
• 데이터셋 값 범위를 기반으로 TD 타깃을 클리핑하여 외삽 오차를 완화한다.
• SALE를 TD3, LAP(우선 재생), 정책 체크포인트, 오프라인 RL용 행동 복제 항(term)을 결합하여 TD7을 도입한다.

실험 결과

연구 질문

• RQ1 저수준 상태 공간에서 상태-행동 임베딩이 환경의 동역학을 효과적으로 포착할 수 있는가?
• RQ2 SALE에서 어떤 설계 선택이 온라인 및 오프라인 RL에서 성능과 안정성에 가장 큰 영향을 미치는가?
• RQ3 높은 차원의 상태-행동 입력을 사용할 때 CHECKPOINTS와 클리핑이 학습을 안정화시키는가?
• RQ4 TD7가 MuJoCo 및 D4RL 벤치마크에서 강력한 온라인/오프라인 기준선과 어떻게 비교되는가?

주요 결과

• TD7은 OpenAI Gym MuJoCo 과제에서 기존의 연속 제어 알고리즘을 크게 능가하며, 300k 단계에서 TD3 대비 평균 276.7%, 5M 단계에서 50.7%의 이점을 보인다.
• SALE 임베딩은 분리된 안정화 학습과 결합될 때 하류 가치 및 정책 학습을 개선하며; 임베딩의 엔드투엔드 학습은 분리 학습보다 성능이 좋지 않다.
• 정책 체크포인트를 사용하면 평가 및 학습을 위해 고성능 정책을 보존함으로써 온라인 학습 전반의 안정성과 성능이 향상된다.
• 오프라인 RL에서 SALE이 결합된 TD7은 MuJoCo 데이터셋(D4RL)에서 최첨단 기준선(CQL, TD3+BC, IQL, X-QL 등)과 동등하거나 이를 상회하며 강력한 오프라인 성능을 보여준다.
• 소거(ablation) 연구는 상태-행동 임베딩, AvgL1Norm 정규화, 분리된 학습의 중요성을 최종 성능에 나타낸다.