[논문 리뷰] Augmenting learning using symmetry in a biologically-inspired domain

Shruti Mishra, Abbas Abdolmaleki외 3명|arXiv (Cornell University)|2019. 10. 01.

Reinforcement Learning in Robotics참고 문헌 10인용 수 6

한 줄 요약

이 논문은 사각형 보행 환경에서 공간 대칭성을 활용하여 반사된 상태-행동 쌍을 이용해 강화학습을 보강함으로써 표본 효율성을 크게 향상시킨다. 훈련 중 궤적을 반사함으로써 에이전트는 데이터가 제한된 환경에서 더 빨리 학습하게 되며, 아키텍처의 최소한의 변경으로도 뛰어난 성능을 달성한다.

ABSTRACT

Invariances to translation, rotation and other spatial transformations are a hallmark of the laws of motion, and have widespread use in the natural sciences to reduce the dimensionality of systems of equations. In supervised learning, such as in image classification tasks, rotation, translation and scale invariances are used to augment training datasets. In this work, we use data augmentation in a similar way, exploiting symmetry in the quadruped domain of the DeepMind control suite (Tassa et al. 2018) to add to the trajectories experienced by the actor in the actor-critic algorithm of Abdolmaleki et al. (2018). In a data-limited regime, the agent using a set of experiences augmented through symmetry is able to learn faster. Our approach can be used to inject knowledge of invariances in the domain and task to augment learning in robots, and more generally, to speed up learning in realistic robotics applications.

연구 동기 및 목표

• 동물과 유사한 몸체에 내재된 공간 대칭성을 활용하여 로봇 보행을 위한 강화학습의 표본 효율성을 향상시키는 것.
• 대칭 기반 데이터 증강이 경험 데이터가 제한된 연속 제어 과제에서 학습을 가속화할 수 있는지 조사하는 것.
• 물리적 대칭성에서 유도되는 인덕티브 바이어스가 더 자연스럽고 효율적인 보행 정책을 형성하는 데 어떻게 기여하는지 탐색하는 것.
• 환경 역학을 변경하지 않고 액터-크리틱 프레임워크에서 반사된 궤적의 영향을 정책 최적화에 평가하는 것.

제안 방법

• 사각형 도메인에서 골격면을 기준으로 반사 대칭을 적용하여 상태-행동 쌍의 반사된 버전을 생성한다.
• MPO 알고리즘(Abdolmaleki 등, 2018)을 확장하여 훈련 중 리play 버퍼에 반사된 궤적을 통합한다.
• Q함수가 $ Q(s_{\text{mirrored}}, a_{\text{mirrored}}) = Q(s, a) $ 를 만족하도록 대칭 정책 제약을 도입하여 불변성을 강제한다.
• 원본 및 반사된 상태와 행동을 모두 사용하여 정책 개선을 수행하며, 학습 안정성을 확보하기 위해 KL 발산 제약을 유지한다.
• 시간 차분 학습 중 Q함수 학습을 안정화하기 위해 250단계 간격으로 타겟 네트워크를 업데이트한다.
• 기본 마코프 결정 과정이나 환경 역학을 변경하지 않고도 정책 최적화 루프에 반사된 경험을 통합한다.

실험 결과

연구 질문

• RQ1 대칭 기반 데이터 증강이 사각형 보행을 위한 연속 제어 과제에서 표본 효율성을 향상시킬 수 있는가?
• RQ2 반사된 궤적을 통합할 경우 액터-크리틱 강화학습 에이전트의 수렴 속도와 최종 성능에 어떤 영향을 미치는가?
• RQ3 정책 공간에서 대칭성을 강제하면 더 자연스럽고 특징적인 보행 자세를 얻을 수 있는가?
• RQ4 대칭 지식을 인덕티브 바이어스로 활용하여 아키텍처 수정 없이도 효과적인 정책 탐색 공간을 줄일 수 있는가?
• RQ5 대칭 증강이 데이터가 제한된 훈련 환경에서 학습 안정성과 일반화 능력에 어떤 영향을 미치는가?

주요 결과

• 반사된 궤적을 통한 증강 훈련은 표준 훈련보다 더 이르게 더 높은 누적 보상을 달성하여 더 빠른 학습을 보여준다.
• 다양한 시드와 보행, 달리기 과제 모두에서 성능 향상이 일관되게 나타나 초기화 및 과제 변동에 대해 강건함을 입증한다.
• 하이퍼파rameter를 변경하지 않고도 학습 속도 향상을 보이며, 이는 대칭성이 효과적인 인덕티브 바이어스임을 시사한다.
• 반사된 데이터 사용은 특히 데이터가 적은 환경에서 더 안정적이고 효율적인 정책 학습을 가능하게 한다.
• 대칭 정책 제약은 생물학적 보행 패턴과 일치하는 더 자연스러운 보행 자세를 학습하는 데 도움을 준다.
• 이 방법은 MPO와 같은 기존의 액터-크리틱 알고리즘과 호환되며, 환경이나 보상 함수를 수정하지 않고 적용 가능하다.