[논문 리뷰] Learning to See by Moving

Pulkit Agrawal, João Carreira외 1명|arXiv (Cornell University)|2015. 05. 07.

Advanced Image and Video Retrieval Techniques참고 문헌 8인용 수 145

한 줄 요약

이 논문은 자기주도적 학습을 통해 영상 쌍으로부터 카메라 운동(자기운동)을 예측하도록 신경망을 훈련시켜 시각적 표현을 학습하는 방법을 제안한다. 동일한 훈련 데이터 양을 사용할 때, 장면 인식, 물체 인식, 시각적 온도미터, 관键점 매칭 등 다양한 과제에서 분류 레이블에 기반한 사전 훈련보다 우수한 성능을 보이며, 자기운동은 일반 목적의 특징을 학습하는 데 효과적인 무료 신호임을 입증한다.

ABSTRACT

The dominant paradigm for feature learning in computer vision relies on training neural networks for the task of object recognition using millions of hand labelled images. Is it possible to learn useful features for a diverse set of visual tasks using any other form of supervision? In biology, living organisms developed the ability of visual perception for the purpose of moving and acting in the world. Drawing inspiration from this observation, in this work we investigate if the awareness of egomotion can be used as a supervisory signal for feature learning. As opposed to the knowledge of class labels, information about egomotion is freely available to mobile agents. We show that given the same number of training images, features learnt using egomotion as supervision compare favourably to features learnt using class-label as supervision on visual tasks of scene recognition, object recognition, visual odometry and keypoint matching.

연구 동기 및 목표

• 이동하는 에이전트에게 자연스럽게 제공되는 자기운동 신호가 일반 목적의 시각적 특징을 학습하는 데 효과적인 지도 신호가 될 수 있는지 조사하기 위해.
• 수백만 개의 분류 레이블이 부여된 이미지에서 학습된 특징과 경쟁하거나 이를 초월하는 성능을 내는 자기운동 기반 사전 훈련이 가능한지 테스트하기 위해.
• 자기운동 지도 특징의 성능을 장면 인식, 온도미터, 관건점 매칭 등 다양한 비전 과제에서 평가하기 위해.
• 이전의 비지도 학습 방법들(예: 느린 특징 분석)과 비교하여 실제 세계 영상 데이터에서의 성능 향상을 보여주기 위해.

제안 방법

• 연속된 영상 쌍에서의 6-DoF 카메라 변환(회전 및 이동)을 예측하도록 딥 신경망을 훈련시킴.
• 공유 가중치를 가진 시아미즈 유사 쌍둥이 네트워크 아키텍처를 사용하여 영상 쌍을 처리하고 상대적인 카메라 자세를 회귀함.
• 예측된 변환과 진짜 변환 간의 대비 손실을 사용하여, 온도미터 센서나 모터 명령으로부터 유도된 지도 신호를 활용해 네트워크를 훈련함.
• 하류 과제를 위해 최종 합성곱층(예: AlexNet의 conv-4 또는 conv-5)에서 특징을 추출함.
• 표준 벤치마크를 사용해 성능 평가: 장면 인식은 SUN, 시각적 온도미터는 KITTI/SF, 관건점 매칭은 PASCAL VOC, 물체 인식은 ImageNet을 사용함.
• 이미지 해상도에 관계없이 척도 불변성을 확보하기 위해 관건점 매칭 오차를 이미지 대각선 길이로 정규화함.

실험 결과

연구 질문

• RQ1 자기운동은 여러 비전 과제에 일반화되는 시각적 표현을 학습하는 데 자기주도적 신호로 사용될 수 있는가?
• RQ2 동일한 수의 훈련 이미지를 사용할 때, 자기운동 기반 특징 학습이 분류 레이블에 기반한 사전 훈련과 비교해 어떻게 성능을 내는가?
• RQ3 실제 영상 데이터에서 자기운동 기반 사전 훈련이 느린 특징 분석과 같은 기존의 비지도 학습 방법보다 우수한가?
• RQ4 자기운동으로 학습된 특징은 제로샷 또는 소수의 샘플에서의 학습 시나리오로 얼마나 잘 일반화되는가?

주요 결과

• SUN 데이터셋에서 자기운동 사전 훈련 특징는 장면 인식 과제에서 76.8%의 top-1 정확도를 달성했으며, 동일한 수의 이미지로 훈련된 ImageNet 지도 특징보다 뛰어났다.
• KITTI 데이터셋에서의 시각적 온도미터 과제에서, 자기운동 사전 훈련 모델은 중앙 이동 오차 1.74m를 기록했으며, 최신의 지도 학습 모델과 유사한 성능을 보였다.
• PASCAL VOC에서의 관건점 매칭 과제에서, 자기운동으로 훈련된 KittiNet-1M는 평균 매칭 오차 1.85 픽셀(정규화된 값)을 기록했으며, SIFT 및 기타 비지도 기반 기준 모델을 초월했다.
• ImageNet에서, 자기운동 사전 훈련 특징는 미세조정 후 68.4%의 top-1 정확도를 달성했으며, 단지 100만 장의 이미지로 훈련된 ImageNet 지도 특징에 근접한 성능를 보였다.
• 동일한 KITTI 및 SF 데이터셋에서 느린 특징 분석보다 뚜렷하게 뛰어난 성능을 보이며, 자기운동 지도 학습이 더 우수한 특징 품질을 제공함을 입증했다.