[논문 리뷰] Unsupervised Emergence of Egocentric Spatial Structure from Sensorimotor Prediction

Alban Laflaquière, M. Ortíz|City Research Online (City University London)|2019. 06. 04.

Action Observation and Synchronization참고 문헌 34인용 수 4

한 줄 요약

이 논문은 원시적인 감각운동 경험에서 사전 지식이나 감독 없이 에고센터릭 공간 표현을 위상적으로도, 척도적으로도 정확하게 자율적으로 학습할 수 있는 비지도 감각운동 예측 프레임워크를 제안한다. 핵심 결과는 감각운동 불변성을 학습하는 과정에서 부산물로 공간의 기본 유클리드 구조를 신경망이 예측하는 데 성공했다는 것이다.

ABSTRACT

Despite its omnipresence in robotics application, the nature of spatial knowledge and the mechanisms that underlie its emergence in autonomous agents are still poorly understood. Recent theoretical works suggest that the Euclidean structure of space induces invariants in an agent's raw sensorimotor experience. We hypothesize that capturing these invariants is beneficial for sensorimotor prediction and that, under certain exploratory conditions, a motor representation capturing the structure of the external space should emerge as a byproduct of learning to predict future sensory experiences. We propose a simple sensorimotor predictive scheme, apply it to different agents and types of exploration, and evaluate the pertinence of these hypotheses. We show that a naive agent can capture the topology and metric regularity of its sensor's position in an egocentric spatial frame without any a priori knowledge, nor extraneous supervision.

연구 동기 및 목표

• 비지도 에이전트가 감각운동 경험만으로 구조화된 에고센터릭 공간 표현을 학습할 수 있는지 조사하기 위해.
• 감각운동 예측이 외부 공간의 위상적 및 척도적 불변성을 포착할 수 있는지 테스트하기 위해.
• 그러한 공간 구조가 사전 지식, 수작업으로 설계된 인덕티브 바이어스, 또는 외부 감독 없이도 어떻게 나타나는지 평가하기 위해.
• 에이전트 형태, 탐색 전략, 환경의 복잡성의 변화에 대해 공간 표현 학습의 견고성(로버스트니)을 검토하기 위해.

제안 방법

• 딥 신경망을 현재의 감각 입력과 운동 행동에서 미래의 감각 상태를 예측하도록 훈련한다.
• 신경망은 감각 및 운동 입력을 공통 잠재 표현 h로 매핑하기 위해 공유 인코더(Net_enc)를 사용한다.
• 예측 자동에코더 설정을 통해 미래 감각 상태에 대한 지도 학습 손실을 이용해 엔드 투 엔드로 모델을 훈련시킨다.
• 일반화 성능 평가를 위해 세 가지 탐색 전략—무작위, MEM(메모리 효율적 운동), 및 정규 운동 샘플링—을 사용한다.
• 지표 감각 위치와의 위상적(D_topo) 및 척도적(D_metric) 이질성 측도를 사용해 잠재 표현 h의 공간 구조를 평가한다.
• 이 프레임워크는 이산적인 2D 격자 세계와 6 자유도를 가진 연속적인 3D 로봇 암 시뮬레이션 두 가지 환경에서 테스트된다.

실험 결과

연구 질문

• RQ1 비지도 감각운동 예측을 통해 에이전트는 위상적으로 정확한 에고센터릭 공간 표현을 학습할 수 있는가?
• RQ2 명시적인 감독이나 수작업으로 설계된 사전 지식 없이도 학습된 표현이 공간의 척도적 규칙성을 포착하는가?
• RQ3 에이전트 형태, 탐색 전략, 환경 복잡성의 변화에 대해 공간 구조의 도출이 얼마나 견고한가?
• RQ4 특히 상쇄 가능한 변화들(Compensable changes)을 포함한 감각운동 불변성이 잠재 공간에서 유클리드 공간 개념을 어떻게 유도하는가?
• RQ5 잠재 표현의 공간 구조는 환경의 내용이나 감각 모odalities에 독립적인가?

주요 결과

• 모든 환경과 탐색 유형에서 낮은 D_topo 값으로 인해, 잠재 표현 h가 에이전트의 감각 위치의 위상적 구조를 성공적으로 포착하고 있음을 입증하였다.
• 공간의 척도적 규칙성이 h에 유지되었으며, D_metric 값은 잠재 공간 내의 거리가 환경 내 진짜 공간 거리와 상관이 있음을 나타냈다.
• 에이전트 복잡성이 증가함에 따라 공간 구조의 도출이 견고함을 입증하였으며, 6-DOF 암 설정에서도 높은 차원의 운동 공간에도 불구하고 유사한 공간 규칙성이 관찰되었다.
• 무작위 및 MEM 탐색을 포함한 다양한 탐색 전략에서도 결과가 일관되므로, 특정 운동 패tern에 국한되지 않는 일반화 성능이 입증되었다.
• MEM 탐색에서 더 높은 이질성 값을 반영하기 위해 시각화에 로그 스케일을 사용하는 것이 필요했지만, 핵심적인 공간 구조는 그대로 유지되었다.
• 훈련 변동성은 데이터셋의 차이가 아니라 초기화 및 미니배치 선택의 확률적 성격 때문임을 50회의 독립 실행에서 일관된 표준편차로 입증하였다.