[논문 리뷰] Unsupervised state representation learning with robotic priors: a robustness benchmark

Timothée Lesort, Mathieu Seurin외 3명|arXiv (Cornell University)|2017. 09. 15.

Fault Detection and Control Systems참고 문헌 21인용 수 20

한 줄 요약

이 논문은 시뮬레이션된 로봇 환경에서 RGB 이미지로부터 3D 손 위치를 학습하기 위해 로봇 사전지식을 활용한 비지도 상태 표현 학습을 확장한다. 시아모이즈 네트워크를 도입하고 새로운 기준점 사전지식을 제안함으로써, 방해 요소와 도메인 랜덤라이제이션 조건에서도 강건한 저차원 상태 표현을 달성한다. 이는 오토에코더를 능가하며 상태공간의 일관성을 향상시키지만 극단적인 도메인 이동에서는 한계가 존재한다.

ABSTRACT

Our understanding of the world depends highly on our capacity to produce intuitive and simplified representations which can be easily used to solve problems. We reproduce this simplification process using a neural network to build a low dimensional state representation of the world from images acquired by a robot. As in Jonschkowski et al. 2015, we learn in an unsupervised way using prior knowledge about the world as loss functions called robotic priors and extend this approach to high dimension richer images to learn a 3D representation of the hand position of a robot from RGB images. We propose a quantitative evaluation of the learned representation using nearest neighbors in the state space that allows to assess its quality and show both the potential and limitations of robotic priors in realistic environments. We augment image size, add distractors and domain randomization, all crucial components to achieve transfer learning to real robots. Finally, we also contribute a new prior to improve the robustness of the representation. The applications of such low dimensional state representation range from easing reinforcement learning (RL) and knowledge transfer across tasks, to facilitating learning from raw data with more efficient and compact high level representations. The results show that the robotic prior approach is able to extract high level representation as the 3D position of an arm and organize it into a compact and coherent space of states in a challenging dataset.

연구 동기 및 목표

• RGB 이미지와 같은 고차원적이고 풍부한 시각 입력에 대해 로봇 사전지식을 활용한 비지도 상태 표현 학습을 확장한다.
• 정적 및 동적 방해 요소, 도메인 랜덤라이제이션과 같은 현실적인 과제에서 로봇 사전지식의 강건성을 평가한다.
• 표현 품질 향상과 상태공간 내 군집화 문제 완화를 위해 새로운 정렬 기준점 사전지식을 제안한다.
• 상태 표현 품질의 정량적 평가를 위한 새로운 KNN-MSE 지표를 도입하고 검증한다.

제안 방법

• 로봇 카메라가 촬영한 RGB 이미지에서 저차원 상태 표현을 학습하기 위해 시아모이즈 컨volutional 신경망을 사용한다.
• 로봇 동작과 보상에서 유도된 물리 기반 제약 조건인 로봇 사전지식을 손실 함수로 도입하여 비지도 표현 학습을 유도한다.
• 도메인 이동 상황에서 상태공간 기하학의 안정성과 순차별 군집화를 감소시키기 위해 다섯 번째 기준점 사전지식을 도입한다.
• 잠재 공간 내 최근접 이웃을 활용하여 새로운 KNN-MSE 지표를 통해 표현 품질을 평가하고 NIEQA와 대비한다.
• 도메인 랜덤라이제이션을 적용하고 정적/이동 가능한 방해 요소를 추가하여 실제 세계의 강건성 도전 과제를 시뮬레이션한다.
• 행동, 관측, 학습된 상태 간 일관성을 확보하기 위해 보상 정보가 연결된 이미지 쌍을 사용해 네트워크를 훈련시킨다.

실험 결과

연구 질문

• RQ1 로봇 사전지식은 RGB 이미지와 같은 고차원 시각 입력에 대해 3D 상태 표현 학습에 일반화될 수 있는가?
• RQ2 정적 및 동적 방해 요소 조건에서 로봇 사전지식의 성능은 어떠한가? 이러한 환경에서 드러나는 한계는 무엇인가?
• RQ3 새로운 기준점 사전지식은 도메인 랜덤라이제이션 존재 하에서도 상태공간의 일관성과 강건성을 향상시킬 수 있는가?
• RQ4 제안된 KNN-MSE 지표는 NIEQA에 비해 표현 품질 평가에서 어떻게 비교되며, 벤치마킹에 있어 계산적으로 실현 가능한가?

주요 결과

• 로봇 사전지식 접근법은 빠른 수렴(15 훈련 에포크 이내)을 달성하며, 오토에코더보다 일관성 있고 임무 관련 상태 표현을 더 잘 학습한다.
• 기존 사전지식은 정적 방해 요소와 강력한 도메인 랜덤라이제이션 조건에서 일반화 실패를 보이며, 상태공간 내 순차별 군집화가 발생한다.
• 제안된 다섯 번째 기준점 사전지식은 상태공간의 일관성 향상과 군집화 감소에 뚜렷한 기여를 하며, 특히 Static-Button-Distractors 데이터셋에서 두드러진다.
• KNN-MSE는 NIEQA에 비해 계산적으로 효율적이고 신뢰할 수 있는 대안을 제공하며, 표현 품질 순위 매기기에서 강한 일치를 보인다.
• 개선에도 불구하고 극단적인 도메인 이동 조건에서는 여전히 한계를 보이며, 사전지식 설계의 향후 탐색 여지가 있음을 시사한다.
• 최근접 이웃을 시각화하는 것만으로는 표현 품질 평가가 부족하며, 기하학적 구조와 보상 일관성이 더 유의미한 지표임을 확인한다.