[논문 리뷰] Learning image representations equivariant to ego-motion.

Dinesh Jayaraman, Kristen Grauman|arXiv (Cornell University)|2015. 05. 08.

Advanced Vision and Imaging참고 문헌 26인용 수 19

한 줄 요약

이 논문은 자율주행 영상에서의 대규모 시cene 인식에서 최고 성능을 기록하며, 자가운동 변환에 대해 등장하는 시각적 표현을 학습할 수 있도록, 자가운동 신호를 활용한 비지도 학습 방법을 제안한다. 자가운동 신호를 통해 체계적인 특징 반응을 강제함으로써, 시각 인식 및 다음 최적의 시야 예측 성능을 크게 향상시킨다.

ABSTRACT

Understanding how images of objects and scenes behave in response to specific ego-motions is a crucial aspect of proper visual development, yet existing visual learning methods are conspicuously disconnected from the physical source of their images. We propose to exploit proprioceptive motor signals to provide unsupervised regularization in convolutional neural networks to learn visual representations from egocentric video. Specifically, we enforce that our learned features exhibit equivariance i.e. they respond systematically to transformations associated with distinct ego-motions. With three datasets, we show that our unsupervised feature learning system significantly outperforms previous approaches on visual recognition and next-best-view prediction tasks. In the most challenging test, we show that features learned from video captured on an autonomous driving platform improve large-scale scene recognition in a disjoint domain.

연구 동기 및 목표

• 이미지의 물리적 기원과 시각적 학습 간의 괴리를 해소하기 위해 자가운동 신호를 표현 학습에 통합한다.
• 자기 중심 영상의 체감 운동 신호를 활용해 시각적 특징을 정규화하는 비지도 방법을 개발한다.
• 자기운동 변환에 대해 체계적으로 반응하는 시각적 표현을 학습함으로써 등장성 확보.
• 인간 레이블 없이도 시각 인식 및 다음 최적의 시야 예측 성능 향상.
• 학습된 특징이 이질적인 도메인, 예를 들어 자율주행 영상에서의 대규모 시cene 인식에 어떻게 전이 가능한지 입증.

제안 방법

• 자기 중심 영상에서의 관성측정장치(IMU) 또는 옵티컬 플로우에서 유도되는 자가운동 신호를 사용해 CNN 내 특징 학습을 정규화한다.
• 특정 자가운동 변환(예: 이동, 회전)에 대해 특징 맵이 예측 가능하게 변형되도록 등장성 강제.
• 알려진 자가운동에 따라 시간적으로 인접한 프레임 간 일관된 특징 반응을 유도하기 위해 대비 손실을 사용해 종합적으로 학습.
• 운동에 따른 등장성 유지 목적의 공유 가중치를 갖는 표준 컨volution 신경망 아키텍처.
• 인간 레이블 없이 영상과 자가운동 데이터만을 사용해 비지도 방식으로 작동.
• 일반화 및 성능 평가를 위해 자율주행 플랫폼 포함 세 개의 데이터셋에서 평가.

실험 결과

연구 질문

• RQ1 자기운동 신호를 사용해 무관한 시점 변화에는 불변하고 자가운동에 대해 등장하는 시각적 표현을 학습할 수 있는가?
• RQ2 체감 운동 신호를 통합함으로써 자기 중심 영상에서의 비지도 시각적 표현 학습이 어떻게 향상되는가?
• RQ3 자기 중심 영상에서 학습된 특징이 다른 도메인의 후속 작업에 얼마나 일반화되는가?
• RQ4 자기운동에 대한 등장성이 시각 인식 및 다음 최적의 시야 예측 작업 성능 향상에 기여하는가?
• RQ5 자기운동 신호를 활용한 비지도 학습이 대규모 시cene 인식에서 이전의 자기지도 또는 지도 학습 기반 베이스라인을 초월할 수 있는가?

주요 결과

• 제안된 방법은 세 개의 데이터셋에서 시각 인식 및 다음 최적의 시야 예측 작업에서 이전 비지도 접근법보다 뚜렷이 뛰어난 성능 기록.
• 가장 도전적인 벤치마크에서 자율주행 영상에서 학습된 특징이 이질적인 도메인에서 대규모 시cene 인식 성능 향상에 기여.
• 학습된 표현은 자가운동에 대해 강력한 등장성을 보이며, 알려진 카메라 운동에 따라 특징이 예측 가능하게 변형됨.
• 인간 레이블 없이도 자가운동 신호와 영상만을 사용해 최고 성능 기록.
• 학습된 특징은 도메인 간 효과적으로 일반화되며, 자기 중심 영상에서 학습된 특징이 대규모 시cene 이해에 전이 가능한 것으로 입증.
• 체감 신호를 비지도 정규화로 활용함으로써 더 강건하고 물리적으로 타당한 시각적 표현이 도출됨.