[논문 리뷰] S4RL: Surprisingly Simple Self-Supervision for Offline Reinforcement Learning

Samarth Sinha, Mandlekar, Ajay외 1명|arXiv (Cornell University)|2021. 03. 10.

Reinforcement Learning in Robotics참고 문헌 41인용 수 5

한 줄 요약

S4RL은 상태공간 데이터 증강을 적용하여 오프라인 강화학습을 위한 놀랍게 단순한 자기지도 학습 방법을 제안한다. 이를 통해 Q-네트워크의 함수 근사 성능을 향상시킨다. 프로피어세프틱 상태를 증강하고, 이를 통해 Q-값 추정을 매끄럽게 하여, D4RL, MetaWorld, RoboSuite 벤치마크에서 최신 오프라인 RL 알고리즘을 크게 능가한다. 특히 복잡한 조작 작업에서 성공률을 최대 3배 향상시킨다.

ABSTRACT

Offline reinforcement learning proposes to learn policies from large collected datasets without interacting with the physical environment. These algorithms have made it possible to learn useful skills from data that can then be deployed in the environment in real-world settings where interactions may be costly or dangerous, such as autonomous driving or factories. However, current algorithms overfit to the dataset they are trained on and exhibit poor out-of-distribution generalization to the environment when deployed. In this paper, we study the effectiveness of performing data augmentations on the state space, and study 7 different augmentation schemes and how they behave with existing offline RL algorithms. We then combine the best data performing augmentation scheme with a state-of-the-art Q-learning technique, and improve the function approximation of the Q-networks by smoothening out the learned state-action space. We experimentally show that using this Surprisingly Simple Self-Supervision technique in RL (S4RL), we significantly improve over the current state-of-the-art algorithms on offline robot learning environments such as MetaWorld [1] and RoboSuite [2,3], and benchmark datasets such as D4RL [4].

연구 동기 및 목표

• 오프라인 강화학습에서 상태공간 내 데이터 증강의 효과를 조사하는 것.
• 오프라인 RL 알고리즘에서 과적합과 분포 외 일반화 능력 부족 문제를 해결하는 것.
• 자기지도 상태 증강을 활용해 Q-네트워크의 함수 근사 성능을 향상시키는 것.
• 기존 오프라인 RL 알고리즘에 아키텍처 변경 없이도 적용 가능한 일반적이고 간편한 방법을 개발하는 것.
• 실세계 로봇 제어 정책 학습을 위한 다양한 벤치마크인 D4RL, MetaWorld, RoboSuite에서 방법을 종합적으로 평가하는 것.

제안 방법

• 오프라인 데이터셋 내 각 상태 관측치에 대해 k개의 서로 다른 데이터 증강을 적용한다.
• 증강된 상태를 사용해 Q-값 타겟을 계산하여 상태-행동 가치 함수의 국소적 매끄러움을 유도한다.
• 기본적인 Q-학습 프레임워크에 증강된 상태를 통합하며, 특히 CQL 및 BRAC 알고리즘에 적용한다.
• 정규화 기반 증강(S4RL-𝒩), MixUp 스타일 보간(S4RL-MixUp), 적대적 편향(S4RL-Adv)을 핵심 증강 전략으로 사용한다.
• Q-네트워크가 상태와 그 증강된 상태에 대해 일관된 Q-값을 출력하도록 훈련시켜 강건성과 일반화 능력을 향상시킨다.
• 다양한 벤치마크에서 성능 비교를 통해 오프라인 RL 알고리즘에 대해 종단 간 평가를 수행한다.

실험 결과

연구 질문

• RQ1 다양한 상태공간 데이터 증강 전략이 오프라인 RL 알고리즘 성능에 어떤 영향을 미치는가?
• RQ2 간단한 자기지도 데이터 증강이 오프라인 RL의 Q-네트워크 함수 근사 성능을 향상시킬 수 있는가?
• RQ3 픽셀 기반 또는 증강 없음 기반 베이스라인 대비 상태 기반 증강이 분포 외 일반화 능력 향상에 더 효과적인가?
• RQ4 어느 증강 전략이 다양한 오프라인 RL 환경에서 가장 일관된 성능 향상을 제공하는가?
• RQ5 제안된 방법은 CQL 및 BRAC와 같은 최신 오프라인 RL 알고리즘과 효과적으로 조합될 수 있는가?

주요 결과

• 적대적 편향을 사용하는 S4RL-Adv는 프로피어세프틱 상태 공간이 높은 차원을 가지는 환경, 예를 들어 Franka 로봇 및 Adriot 환경에서 기본 CQL 에이전트를 뛰어넘는 성능을 보였다.
• D4RL 벤치마크에서 S4RL-𝒩와 S4RL-Adv는 모든 작업, 특히 'antmaze'와 같은 도전적인 작업들에서도 기본 CQL 및 기타 자기지도 학습 방법보다 일관되게 뛰어난 성능을 보였다.
• MetaWorld 및 RoboSuite 환경에서 S4RL는 동일한 데이터 양을 사용할 때 기본 CQL 에이전트 대비 성공률을 약 20% 향상시켰다.
• S4RL-Adv 에이전트는 MetaWorld의 다섯 가지 작업 중 세 곳에서 행동 정책을 뛰어넘는 유일한 방법이었으며, 강력한 일반화 능력을 보였다.
• 'pen-human' 및 'hammer-human' 작업에서 BRAC+S4RL 에이전트는 기본 CQL 에이전트가 실패하는 상황에서도 유용한 기술을 학습했다. 이는 방법의 강건성을 강력하게 보여준다.
• 차원 제거(Dimension-Dropout) 및 상태 전환(State-Switch) 증강은 관절 속도와 같은 중요한 프로피어세프틱 정보를 손실시켜 성능을 저하시켰다.