[논문 리뷰] Equivariant $Q$ Learning in Spatial Action Spaces

Dian Wang, Robin Walters외 2명|arXiv (Cornell University)|2021. 10. 28.

Robot Manipulation and Learning참고 문헌 39인용 수 4

한 줄 요약

이 논문은 시각적 상태와 동작에서 SE(2) 대칭성을 활용하여 공간적 동작 공간을 위한 등변 Q-학습을 제안한다. 기울기 가능 컨볼루션 네트워크를 사용해 등변성을 강제함으로써, 표준 딥 Q-학습보다 유의미하게 높은 샘플 효율성을 달성하며, 실제 로봇 조작 작업(실제 환경 구현 포함)에서 최신 기술 수준의 성능을 보인다.

ABSTRACT

Recently, a variety of new equivariant neural network model architectures have been proposed that generalize better over rotational and reflectional symmetries than standard models. These models are relevant to robotics because many robotics problems can be expressed in a rotationally symmetric way. This paper focuses on equivariance over a visual state space and a spatial action space -- the setting where the robot action space includes a subset of $ m{SE}(2)$. In this situation, we know a priori that rotations and translations in the state image should result in the same rotations and translations in the spatial action dimensions of the optimal policy. Therefore, we can use equivariant model architectures to make $Q$ learning more sample efficient. This paper identifies when the optimal $Q$ function is equivariant and proposes $Q$ network architectures for this setting. We show experimentally that this approach outperforms standard methods in a set of challenging manipulation problems.

연구 동기 및 목표

• 최적의 Q-함수와 SE(2) 변환(회전 및 이동)에 대해 등변성이 성립하는 조건을 규명하는 것.
• 공간적 동작 공간을 위한 Q-함수에서 SE(2) 등변성을 강제하는 신경망 아키텍처를 설계하는 것.
• 로봇 공학에서 흔히 나타나는 상태 변수의 부분 대칭성을 수용할 수 있는 부분 등변 모델을 개발하는 것.
• 어려운 시각-운동 제어 작업에서 비등변 기준 모델과의 비교를 통해 제안된 방법의 실증적 평가를 수행하는 것.
• 시뮬레이션과 실제 로봇 구현 환경 모두에서 일반화 능력과 샘플 효율성 향상을 입증하는 것.

제안 방법

• 유한한 SE(2) 부분군에 대해 최적의 Q-함수가 등변성이 성립하는 조건을 수식적으로 규명하여, 시각적 상태에서의 변환이 동작 공간으로 올바르게 전이되도록 보장하는 것.
• SE(2) 등변성을 명시적으로 구현하는 기울기 가능 컨볼루션 레이어를 사용해 Q-네트워크 아키텍처를 설계함으로써 자유 매개변수를 감소시키고 인덕티브 바이어스를 향상시키는 것.
• 다양한 구성 요소(q1, q2, q3–q5)가 독립적으로 등변, 지시적 또는 전통적인 방식으로 설계될 수 있도록 모듈러 아키텍처를 도입하여 부분 대칭성에 대응하는 탄력적인 설계를 가능하게 하는 것.
• Equi+Equi+Equi, Equi+Deic+Deic 및 Conv+Conv+Conv 등의 다양한 구성 방식을 구현하고, 성능 향상 요인을 분리하기 위해 분석 실험을 수행하는 것.
• 완전 컨볼루션 네트워크(FCN)를 사용해 밀도 높은 픽셀-동작 공간 학습을 수행하며, 상태 헤드와 동작 헤드 양쪽에 등변성을 통합함으로써 기존 접근법을 확장하는 것.
• 데이터 증강(예: 랜덤 회전, 이동)과 대비 학습을 기준 모델로 사용하며, 제안된 방법이 대칭성을 아키텍처에 하드코딩한다는 점을 강조하는 것.

실험 결과

연구 질문

• RQ1 시각적 상태와 공간적 동작 공간에서 최적의 Q-함수는 SE(2) 변환에 대해 어떤 조건에서 등변성이 성립하는가?
• RQ2 로봇 조작을 위한 Q-학습에서 SE(2) 등변성을 강제할 수 있는 신경망 아키텍처는 어떻게 설계할 수 있는가?
• RQ3 일부 상태 변수만 대칭성을 가지는 부분 등변성의 정책 학습 성능에 대한 영향은 무엇인가?
• RQ4 샘플 효율성과 최종 성능 측면에서 등변 Q-학습은 비등변 및 데이터 증강 기반 기준 모델과 어떻게 비교되는가?
• RQ5 등변 Q-학습은 시뮬레이션에서 실제 로봇 제어 작업으로의 일반화를 효과적으로 수행할 수 있는가?

주요 결과

• 환경의 동역학과 보상 함수가 시각적 상태 공간에서의 회전 및 이동에 대해 불변일 경우, 최적의 Q-함수는 SE(2)-등변성이 성립한다.
• 등변 Q-네트워크는 표준 비등변 모델보다 샘플 효율성이 뛰어나며, 모든 테스트 작업에서 더 적은 환경 상호작용 수로 더 높은 성공률을 달성한다.
• 하우스 빌딩 및 박스 패킹 작업에서 Equi+Equi+Equi 아키텍처는 시뮬레이션에서 100% 성공률을 기록하며, Conv+Conv+Conv 기준 모델을 크게 앞서 간다.
• 실제 환경에서 병 정렬 및 상자 팔레트 정리 작업에서는 q3–q5에 지시적 인코딩을 적용한 등변 모델이 각각 90% 및 85%의 성공률을 기록하여 우수한 시뮬레이션-실환경 전이 능력을 입증했다.
• 등변 추론의 런타임 비용은 높은 편이다(등변 FCN는 1단계당 0.72초, 기존 FCN는 0.08초), 하지만 샘플 효율성 향상의 이점이 이 오버헤드를 상쇄한다.
• 분석 실험 결과, 기존 레이어를 등변 또는 지시적 구성 요소로 대체할 경우 성능 향상이 나타나며, 특히 q1과 q2가 등변이고 q3–q5가 지시적 인코딩을 사용할 경우 최고의 성능을 기록했다.