[논문 리뷰] Robust Policies via Mid-Level Visual Representations: An Experimental Study in Manipulation and Navigation

Bryan Chen, Alexander F. Sax외 6명|arXiv (Cornell University)|2020. 11. 13.

Domain Adaptation and Few-Shot Learning참고 문헌 64인용 수 19

한 줄 요약

이 논문은 전통적인 컴퓨터 비전 목표에서 학습된 비동기적으로 훈련된 중위수 시각적 표현을 딥 강화학습(Reinforcement Learning, RL) 정책의 지각 입력으로 사용하는 것을 제안한다. 원시 픽셀 대신 이러한 불변성 있고 의미적인 특징을 사용함으로써, 샘플 효율성, 분포 이탈(특히 시뮬레이션에서 실제 환경으로의 전이 포함)에 대한 일반화 능력, 어려운 조작 및 탐색 작업에서의 성능이 크게 향상되며, 특히 어려운 또는 미리 보지 못한 환경에서 학습에서부터 시작하는 것과 도메인 랜덤라이제이션보다 뛰어난 성능을 보인다.

ABSTRACT

Vision-based robotics often separates the control loop into one module for perception and a separate module for control. It is possible to train the whole system end-to-end (e.g. with deep RL), but doing it "from scratch" comes with a high sample complexity cost and the final result is often brittle, failing unexpectedly if the test environment differs from that of training. We study the effects of using mid-level visual representations (features learned asynchronously for traditional computer vision objectives), as a generic and easy-to-decode perceptual state in an end-to-end RL framework. Mid-level representations encode invariances about the world, and we show that they aid generalization, improve sample complexity, and lead to a higher final performance. Compared to other approaches for incorporating invariances, such as domain randomization, asynchronously trained mid-level representations scale better: both to harder problems and to larger domain shifts. In practice, this means that mid-level representations could be used to successfully train policies for tasks where domain randomization and learning-from-scratch failed. We report results on both manipulation and navigation tasks, and for navigation include zero-shot sim-to-real experiments on real robots.

연구 동기 및 목표

• 중위수 시각적 표현이 분포 이탈 상황에서 특히 강화학습 기반 시각 정책의 일반화 능력과 샘플 효율성을 향상시킬 수 있는지 조사하기 위해.
• 중위수 특징이 어려운 작업에서 원시 픽셀에서의 학습이나 도메인 랜덤라이제이션보다 성능이 뛰어나지 않는지 평가하기 위해.
• 복잡한 연속 제어 조작 및 탐색 작업에 대해 중위수 표현의 확장성 평가하기 위해.
• 실제 로봇에 대해 시뮬레이션에서의 제로샷 전이 상황에서 중위수 특징을 사용해 훈련한 정책의 강인성 분석하기 위해.
• 훈련 안정성과 최종 성능 측면에서 도메인 랜덤라이제이션과 같은 다른 불변성 인코딩 방법과 비교하여 중위수 표현의 성능 평가하기 위해.

제안 방법

• 중위수 비전 작업(예: 깊이 추정, 표면 법선 예측, 곡률, 세그멘테이션)에 대해 지도 또는 자기지도 학습 목표를 사용하여 특징 인코더를 사전 훈련한다. 이 과정은 RL 훈련과 독립적으로 수행된다.
• 사전 훈련된 특징 인코더는 동결된 상태로 유지되며, 원시 관측값에서 시각적 표현을 추출하는 지각 백본으로 사용된다. 이 특징은 이후 딥 RL 정책에 입력된다.
• 이 중위수 특징을 입력으로 사용하여 RL 정책을 엔드 투 엔드로 훈련한다. 배포 시 추가 적응 또는 파라미터 조정 없이 수행된다.
• 다양한 작업(예: 픽앤플레이스와 같은 조작, Habitat 및 Gibson 시뮬레이터 내 탐색)에서 이 방법을 평가하며, 제로샷 시뮬레이션에서 실제 환경으로의 전이도 포함된다.
• 기준선과 성능 비교: 원시 픽셀에서의 학습, 저차원 상태의 진짜값 사용, 도메인 랜덤라이제이션.
• 모든 방법에 대해 하이퍼파rameter 서치를 수행하여 공정한 비교를 확보하고, 다양한 도메인 이탈 상황(예: 새로운 물체, 조명, 질감)에서 일반화 능력을 테스트한다.

실험 결과

연구 질문

• RQ1 원시 픽셀에서의 학습과 비교해 중위수 시각적 표현을 사용할 경우, 어려운 조작 및 탐색 작업에서 정책 성능과 일반화 능력이 향상되는가?
• RQ2 중위수 표현은 시각 기반 강화학습에서 샘플 복잡도를 줄이고 훈련 안정성을 향상시키는가?
• RQ3 특히 시뮬레이션에서 실제 환경으로의 전이 상황에서 중위수 표현이 도메인 랜덤라이제이션보다 도메인 이탈에 더 잘 대응하는가?
• RQ4 원시 픽셀에서의 엔드 투 엔드 학습과 비교해 중위수 특징은 실제 환경으로의 제로샷 전이 성능을 향상시키는가?
• RQ5 중위수 표현의 성능은 다양한 환경과 작업에서 강인한가, 아니면 특정 특징에 크게 의존하는가?

주요 결과

• 원시 픽셀에서의 학습과 도메인 랜덤라이제이션 모두 실패한(훈련 및 테스트 모두 0% 성공률) 일부 테스트 환경에서 중위수 표현을 사용한 정책는 100% 성공률를 달성했다.
• 중위수 접근법은 진짜 저차원 상태를 사용할 때와 거의 유사한 속도로 훈련되었으며, 원시 픽셀에서의 학습보다 샘플 효율성이 뛰어나게 향상되었다.
• 시뮬레이션에서 실제 환경으로의 제로샷 전이 상황에서 중위수 특징을 사용한 에이전트는 원시 픽셀에서 학습한 에이전트보다 성능이 뛰어났으며, 최고의 성능을 보인 특징(예: 곡률)은 시뮬레이션과 실제 로봇에서 거의 동일한 성능를 보였다.
• 시뮬레이션 환경과 실제 환경 간의 성능 순위 상관관계(Spearman’s rank correlation)는 ρ = 0.77로 나타나, 도메인 갭에도 불구하고 특징의 유용성이 안정적임을 시사했다.
• 중위수 표현은 새로운 물체, 질감 등의 다양한 도메인 이탈 상황에서 일반화 능력을 향상시켰지만, 도메인 랜덤라이제이션은 더 어려운 작업에서 성능이 악화되었다(예: 훈련 성공률가 100%에서 70%로 감소).
• 특징 순위는 환경 간에는 안정적이지만 작업 간에는 안정적이지 않아, 특징의 유용성은 작업의 구조에 따라 달라지며, 성공을 위해 작업에 적합한 특징 선택이 핵심임을 시사했다.