[논문 리뷰] On-Robot Learning With Equivariant Models

Dian Wang, Mingxi Jia외 3명|arXiv (Cornell University)|2022. 03. 09.

Reinforcement Learning in Robotics인용 수 4

한 줄 요약

이 논문은 이sovariant SAC를 활용한 로봇 내 학습을 제안하며, 이는 이산 대칭군(예: D₄, C₈)과 데이터 증강 기법을 활용해 물리적 로봇에서 2시간 이내에 직접 간단한 로봇 조작 정책을 훈련시키는 샘플 효율적인 강화학습 방법이다. 실험 결과, 사전 시뮬레이션 훈련은 종종 불필요하며, 오히려 부정적 전이를 유발할 수 있음을 보여주며, 이는 단순한 조작 작업에 대해 직접 로봇 내 학습이 가능하고 효율적임을 시사한다.

ABSTRACT

Recently, equivariant neural network models have been shown to improve sample efficiency for tasks in computer vision and reinforcement learning. This paper explores this idea in the context of on-robot policy learning in which a policy must be learned entirely on a physical robotic system without reference to a model, a simulator, or an offline dataset. We focus on applications of Equivariant SAC to robotic manipulation and explore a number of variations of the algorithm. Ultimately, we demonstrate the ability to learn several non-trivial manipulation tasks completely through on-robot experiences in less than an hour or two of wall clock time.

연구 동기 및 목표

• 시뮬레이터나 오프라인 데이터셋에 의존하지 않고 효율적인 로봇 내 정책 학습을 가능하게 하기 위해.
• 이sovariant 모델이 이산 대칭군을 사용할 때 연속적인 모델보다 로봇 조작에서 성능이 뛰어나지 않는지 조사하기 위해.
• 실제 로봇에서 직접 훈련된 이sovariant 모델에 대한 데이터 증강의 영향을 평가하기 위해.
• 로봇 내 학습을 위한 sim2real 사전 훈련이 필수적이거나 유익한지 평가하기 위해.
• 특히 접촉 동역학의 도메인 이동으로 인해 sim2real 전이가 실패하는 원인과 조건을 이해하기 위해.

제안 방법

• 정책 네트워크에 회전 및 반사 불변성을 통합하기 위해 이산 대칭군(예: D₄, C₈)을 사용하는 이sovariant 소프트 액터-크리틱(SAC)을 적용한다.
• 군의 기저 표현을 활용해 신경망 아키텍처에서 이sovariance를 강제함으로써 샘플 효율성을 향상시킨다.
• 특히 리플레이 버퍼에 대한 증강 기법(예: 버퍼 증강)을 적용하여 이산 대칭군에서의 성능을 추가로 향상시킨다.
• 시뮬레이션이나 사전 훈련 없이 실제 로봇에서의 경험을 전적으로 활용해 정책을 훈련시킨다.
• 전이 효과를 평가하기 위해 PyBullet 시뮬레이션을 활용해 로봇 내 훈련과 sim2real 보정 훈련을 비교한다.
• 블록 집기, 혼잡한 그립, 블록 밀기, 냄비 속 블록 등 네 가지 조작 작업에서 성능을 평가한다.

실험 결과

연구 질문

• RQ1 이산 대칭군(예: D₄, C₈)이 로봇 내 강화학습에서 연속 그룹(예: SO(2), O(2))보다 성능을 높이는가?
• RQ2 모델이 이미 대칭성을 인코딩하고 있음에도 불구하고, 데이터 증강이 실제 로봇에서 훈련된 이sovariant 모델의 성능을 향상시키는가?
• RQ3 로봇 내 학습을 위한 sim2real 사전 훈련이 필수적이거나 유익한가?
• RQ4 어떤 조건에서 sim2real 사전 훈련이 실제 로봇 정책 학습에서 부정적 전이를 유발하는가?
• RQ5 실제 로봇에서 훈련된 이sovariant 모델이 2시간 이내의 벽시계 시간 내에 복잡한 조작 작업에서 높은 성능을 달성할 수 있는가?

주요 결과

• 이soviant SAC가 이산 대칭군(D₄, C₈)을 사용할 경우, 모든 평가된 작업에서 연속 그룹(SO(2), O(2))보다 뛰어난 성능을 보였으며, 이는 근사 오차가 존재하더라도 더 나은 일반화 능력을 의미한다.
• 데이터 증강, 특히 버퍼 증강이 이산 대칭군에서의 성능을 크게 향상시켰으며, 이는 모델이 대칭성을 이미 인코딩하고 있음에도 불구하고 데이터 증강이 여전히 유익함을 보여준다.
• 이soviant 모델을 활용한 로봇 내 학습은 블록 밀기 작업에서 92%의 성공률, 냄비 속 블록 작업에서 92%의 성공률, 혼잡한 그립 작업에서 70%의 성공률을 기록했으며, 모두 1~2시간 이내의 실제 세계 훈련 시간 내에 달성되었다.
• 성공을 위해 sim2real 사전 훈련이 필수적이지 않았으며, 블록 밀기 작업에서는 사전 훈련이 오히려 부정적 전이를 유발했다. 이는 시뮬레이션에서의 접촉 동역학이 다를 경우, 사전 훈련된 정책이 처음부터 훈련하는 것보다 성능이 열 劣하다는 것을 의미한다.
• sim2real 에이전트는 PyBullet의 더 연약한 접촉 탄성으로 블록을 아래로 누르는 방식을 학습한 반면, 로봇 내 에이전트는 옆으로 밀기 방식을 학습했다. 이는 전이를 저해하는 도메인 이동을 보여주는 사례이다.
• 블록 집기 및 냄비 속 블록 작업에서는 로봇 내 학습과 sim2real 보정 훈련 모두 100%의 성공률를 기록했지만, 일부 경우에서 로봇 내 학습이 더 빠르게 수렴했으며, 이는 직접 학습 방식이 경쟁력이 있음을 시사한다.