[논문 리뷰] Unsupervised Learning of Object Keypoints for Perception and Control

Tejas Kulkarni, Ankush Gupta외 5명|arXiv (Cornell University)|2019. 06. 19.

Domain Adaptation and Few-Shot Learning참고 문헌 42인용 수 71

한 줄 요약

Transporter는 비디오에서 객체의 키포인트를 비지도 학습하고 이를 데이터 효율적 RL과 탐험에 활용하며, 프레임 간에 키포인트 병목을 통해 특징을 전달합니다.

ABSTRACT

The study of object representations in computer vision has primarily focused on developing representations that are useful for image classification, object detection, or semantic segmentation as downstream tasks. In this work we aim to learn object representations that are useful for control and reinforcement learning (RL). To this end, we introduce Transporter, a neural network architecture for discovering concise geometric object representations in terms of keypoints or image-space coordinates. Our method learns from raw video frames in a fully unsupervised manner, by transporting learnt image features between video frames using a keypoint bottleneck. The discovered keypoints track objects and object parts across long time-horizons more accurately than recent similar methods. Furthermore, consistent long-term tracking enables two notable results in control domains -- (1) using the keypoint co-ordinates and corresponding image features as inputs enables highly sample-efficient reinforcement learning; (2) learning to explore by controlling keypoint locations drastically reduces the search space, enabling deep exploration (leading to states unreachable through random action exploration) without any extrinsic rewards.

연구 동기 및 목표

• 제어 및 강화 학습에 유용한 객체 중심 표현을 학습하도록 자극하기 위해 분류나 탐지에 국한하지 않는다.
• 길게 지속되는 기간 동안 객체를 추적하는 간결한 기하학적 키포인트를 발견하기 위한 완전한 비지도 아키텍처(Transporter)를 제안한다.
• RL에서 상태 입력으로 키포인트를 사용할 때 데이터 효율성을 개선한다는 것을 입증한다.
• 키포인트 제어가 작업-무관한 탐색 및 효율적 탐색을 위한 기술 습득을 가능하게 함을 보여준다.

제안 방법

• CNN 기반 특징 추출기 Φ와 미분 가능한 키포인트 네트워크(KeyNet)를 사용하여 프레임 쌍에 대한 공간 키포인트 좌표 Psi(x)를 예측한다.
• 키포인트 주변에 가우시안 히트맵을 계산하고 소스 프레임의 히트맵 위치를 대상 프레임의 특징으로 교체하여 소스 프레임에서 대상 프레임으로 특징을 전달한다; 소스 키포인트 위치를 0으로 제거하고 작은 보정 네트워크로 전달을 정제한다.
• 픽셀 단위 L2 재구성으로 목표 프레임을 엔드 투 엔드로 학습하여 시간에 따라 키포인트의 기하학적 일관성을 강화한다.
• 무작위 정책으로 수집된 데이터에서 Transporter를 사전 학습한 다음, 보상으로부터 정책을 학습하는 동안 Transporter 가중치를 고정한다(데이터 효율 RL: KeyQN 사용).
• intrinsic keypoint-based actions(K x 4 방향 이동 per keypoint)을 정의하여 Q-함수를 통해 탐색 친화적 옵션을 학습하고, 탐색을 가장 잘 제어할 수 있는 키포인트를 선택한다.

실험 결과

연구 질문

• RQ1 비지도 학습으로 얻은 객체 키포인트가 다양한 RL 환경에서 안정적으로 장기 추적을 수행할 수 있는가?
• RQ2 키포인트 좌표와 국지적 특징을 입력으로 사용할 때 RGB 관측치에 비해 강화 학습의 데이터 효율성이 향상되는가?
• RQ3 키포인트 제어를 학습하는 것이 보상 없이도 작업에 구애받지 않는 탐색 메커니즘을 제공하여 어려운 탐색 환경에서 탐색을 개선할 수 있는가?

주요 결과

• Transporter는 Atari ALE 및 Manipulator 도메인에서 객체를 장기 시점까지 견고하게 추적하는 최첨단 객체 키포인트를 학습한다.
• 키포인트 좌표와 국지적 특징을 입력으로 사용하면 여러 Atari 게임에서 약 100k 상호작용 정도에서 강력한 벤치마크 대비 더 데이터 효율적인 RL을 얻는다.
• 키포인트 위치 제어 학습은 효율적인 탐색을 가능하게 하며, 행동 공간 탐색을 크게 감소시키고 키포인트 공간에서의 무작위 탐색이 무작위 원시 행동으로는 달성할 수 없는 행동에 도달하게 한다.
• 가장 제어 가능한 키포인트는 대개 게임의 아바타에 해당하며 상태 변화에도 일관되게 추적된다.
• 키포인트 기반 탐색은 외부 보상 없이 Montezuma’s Revenge와 같은 어려운 탐색 task에서 성능 향상을 보여준다.
• 이 접근법은 작업 특화 보상 없이도 재사용 가능한 시계열 일관성 있는 객체 표현을 제공한다.