[논문 리뷰] Decoupling feature extraction from policy learning: assessing benefits of state representation learning in goal based robotics

Antonin Raffin, Ashley Hill외 4명|arXiv (Cornell University)|2019. 01. 24.

Reinforcement Learning in Robotics참고 문헌 21인용 수 24

한 줄 요약

이 논문은 목표 기반 로봇 공학에서 상태 표현 학습(SRL)을 정책 학습에서 분리하는 것을 제안하며, 쌓인 SRL 구성 요소를 통해 단순하고 분리된 상태 표현을 학습함으로써 샘플 효율성과 정책 성능을 크게 향상시킨다. 이 방법은 엔드 투 엔드 학습과 원시 픽셀보다 뛰어나며, 빠른 수렴 속도와 하이퍼파rameter에 대한 강건성을 보이며 거의 최적의 성능을 달성한다.

ABSTRACT

Scaling end-to-end reinforcement learning to control real robots from vision presents a series of challenges, in particular in terms of sample efficiency. Against end-to-end learning, state representation learning can help learn a compact, efficient and relevant representation of states that speeds up policy learning, reducing the number of samples needed, and that is easier to interpret. We evaluate several state representation learning methods on goal based robotics tasks and propose a new unsupervised model that stacks representations and combines strengths of several of these approaches. This method encodes all the relevant features, performs on par or better than end-to-end learning with better sample efficiency, and is robust to hyper-parameters change.

연구 동기 및 목표

• 시각 기반 로봇 제어에서 특징 추출을 정책 학습에서 분리함으로써의 이점 평가
• 다양한 상태 표현 학습(SRL) 방법이 목표 기반 작업에서 샘플 효율성과 정책 성능에 미치는 영향 평가
• 다양한 목표를 쌓인 표현을 통해 통합하여 분리도 및 강건성을 향상시키는 새로운 SRL 방법 설계
• 하이퍼파rameter, 상태 차원, 학습 데이터셋 크기가 SRL 성능에 미치는 영향 조사
• SRL 기반 정책이 시뮬레이션에서 실제 로봇 구현으로의 이식 가능성 검증

제안 방법

• 저자들은 서로 다른 목표로 훈련된 여러 표현 헤드를 혼합하는 대신, 각각의 목표를 별도로 전담하는 표현 헤드를 쌓는 새로운 SRL 방법을 제안한다. 이를 통해 갈등하는 목표를 줄이고 분리도를 향상시킨다.
• 세 가지 목표를 결합한다: 역역학(상태 전이에서 행동 예측), 재구성(관측값에 대한 오토인코더 손실), 보상 예측(희소 보상 예측).
• 각 목표는 상태 표현의 별도이면서 전용 부분에 적용되어 모듈러한 학습과 더 나은 특징 분리가 가능하다.
• SRL 모델은 탐색 정책의 시연 롤아웃 데이터에서 사전 훈련된 후, PPO 기반 정책 네트워크의 입력으로 사용된다.
• 최종 상태 표현은 시뮬레이션 및 실제 환경 모두에서 Proximal Policy Optimization(PPO)를 통해 훈련된 정책 네트워크의 입력으로 사용된다.
• 이 방법은 다양한 목표 기반 로봇 작업(예: 탐색 및 로봇 팔 조작)에서 평가되었으며, 하이퍼파ram터 및 아키텍처 선택에 대한 아블레이션 연구가 포함되어 있다.

실험 결과

연구 질문

• RQ1 시각 기반 목표 기반 로봇 공학에서 정책 학습에서 상태 표현 학습을 분리하면 샘플 효율성이 향상되는가?
• RQ2 역역학, 재구성, 보상 예측 등의 다양한 SRL 목표가 결합되었을 때 정책 성능에 어떤 기여를 하는가?
• RQ3 표현을 쌓는 것과 혼합하는 것의 차이가 표현의 분리도 및 후속 정책 학습에 어떤 영향을 미치는가?
• RQ4 제안된 SRL 방법은 하이퍼파ram터, 상태 차원, 학습 데이터셋 크기의 변화에 얼마나 강건한가?
• RQ5 SRL을 사용해 훈련된 정책은 시뮬레이션에서 실제 로봇 구현으로 효과적으로 이식 가능한가?

주요 결과

• 역역학, 재구성, 보상 예측에 대해 별도의 표현 헤드를 쌓는 SRL Splits 모델은 2D 랜덤 타겟 탐색 환경에서 평균 수익 223.4 ± 5.6을 달성하여 원시 픽셀(188.2 ± 9.5)과 엔드 투 엔드 학습 기준선을 초월했다.
• 쌓인 SRL 접근 방식은 다른 모든 SRL 조합보다 뛰어난 성능을 보였으며, 예를 들어 Auto-Encoder + Reward / Inverse 조합은 232.1 ± 2.2를 기록하여 매우 높은 안정성과 뛰어난 성능을 보였다.
• 이 방법은 뛰어난 샘플 효율성을 보였다: SRL 표현을 사용한 정책는 원시 픽셀을 사용한 정책보다 빠르게 수렴했으며, 엔드 투 엔드 학습이 훨씬 더 많은 샘플이 필요했음에도 불구하고 말이다.
• SRL Splits 모델은 하이퍼파ram터 변화에 대해 강건했으며, 다양한 무작위 시드, 상태 차원, 학습 데이터셋 크기에서 일관된 성능을 보였다. 이는 최소 임계값 이상에서는 성능 향상이 멈추는 포화 효과를 시사한다.
• 고품질의 SRL 표현(예: SRL Splits, 오토인코더, 지상 진실)으로 사전 훈련된 정책는 실제 환경 구현에서 더 잘 일반화되었으며, 옴니봇 로봇에서 안정적인 행동을 보였지만, 원시 픽셀이나 무작위 특징 기반 정책는 그렇지 못했다.
• 아블레이션 연구를 통해 상태 차원이나 학습 데이터셋 크기를 특정 값 이상으로 늘려도 성능 향상이 없음을 확인했으며, 이는 포화 효과를 나타낸다.