[논문 리뷰] Object-Centric Representation Learning from Unlabeled Videos

Ruohan Gao, Dinesh Jayaraman외 1명|arXiv (Cornell University)|2016. 12. 01.

Domain Adaptation and Few-Shot Learning참고 문헌 28인용 수 8

한 줄 요약

이 논문은 레이블이 없는 영상에서 추적 없이도 불변 특징을 학습할 수 있도록 영역 제안을 사용하는 객체 중심의 비지도 표현 학습 프레임워크를 제안한다. 시공간적으로 인접한 객체 유사 영역을 대상으로 시아모이-트리플릿 네트워크를 훈련시켜 이미지 분류 및 검색에서 최신 기술 수준(SOTA) 성능을 달성하였으며, MIT Indoor 67, PASCAL VOC 2007, VOC 2012에서 이전의 비지도 방법들을 능가한다.

ABSTRACT

Supervised (pre-)training currently yields state-of-the-art performance for representation learning for visual recognition, yet it comes at the cost of (1) intensive manual annotations and (2) an inherent restriction in the scope of data relevant for learning. In this work, we explore unsupervised feature learning from unlabeled video. We introduce a novel object-centric approach to temporal coherence that encourages similar representations to be learned for object-like regions segmented from nearby frames. Our framework relies on a Siamese-triplet network to train a deep convolutional neural network (CNN) representation. Compared to existing temporal coherence methods, our idea has the advantage of lightweight preprocessing of the unlabeled video (no tracking required) while still being able to extract object-level regions from which to learn invariances. Furthermore, as we show in results on several standard datasets, our method typically achieves substantial accuracy gains over competing unsupervised methods for image classification and retrieval tasks.

연구 동기 및 목표

• 비용이 많이 들고 정적, 레이블이 부여된 이미지 분포에 국한되는 수동으로 레이블링에 의존하는 지도 학습 사전 훈련의 한계를 해결한다.
• 전체 프레임을 임베딩하는 방법(국소적 불변성 상실)이나 복잡한 추적을 요구하는 기존의 비지도 영상 방법의 단점을 극복한다(운동에 치우친 편향, 계산 비용 높음).
• 전체 프레임이나 추적된 패치가 아닌 객체 중심 영역에 집중함으로써, 레이블이 없는 영상에서 강력한 객체 수준의 불변성을 학습할 수 있도록 한다.
• 비지도 학습을 통해 강건하고 일반화 가능한 특징을 얻을 수 있음을 보여주며, 이후 인식 작업에 유용한 특징을 학습한다.

제안 방법

• 선택적 검색(Selective Search)을 사용해 개별 영상 프레임에서 객체 유사 영역 제안을 생성한다.
• 연속된 프레임 간에 시공간적으로 인접한 영역 제안 쌍을 양성 훈련 쌍으로 식별한다.
• 시아모이-트리플릿 네트워크를 훈련시켜, 공간적·시간적으로 가까운 영역(양성 쌍)을 특징 공간에서 더 가까이 배치하고, 음성 쌍은 더 멀리 떨어지도록 한다.
• 대비 손실 기반 목적 함수를 사용해, 외관이나 자세 변화가 있어도 같은 객체 또는 객체 부분의 영역 제안이 유사한 임베딩로 매핑되도록 한다.
• 근접한 프레임 간에 점진적인 변화가 나타나는 영상의 시간적 일관성을 활용해, 명시적 추적 없이도 객체 수준의 불변성을 학습한다.
• 영역 제안을 입력으로 사용해 트리플릿 손실을 기반으로 깊은 CNN을 훈련시켜 일반화 가능한 객체 수준의 표현을 학습한다.

실험 결과

연구 질문

• RQ1 레이블이 없는 영상에서 객체 중심의 표현 학습이 전체 프레임 기반 또는 추적 기반의 비지도 방법보다 우월한가?
• RQ2 전체 프레임이나 추적된 패치가 아닌 영역 제안을 기반으로 학습하면, 시각 인식 작업에서 더 나은 불변성과 일반화 성능를 달성할 수 있는가?
• RQ3 경량이면서 추적 기반의 방법 없이도 최신 기술 수준의 비지도 사전 훈련 기준에 경쟁적인 성능을 달성할 수 있는가?
• RQ4 제한된 레이블이 있는 데이터로 미세조정을 수행했을 때, 제안된 방법의 효과는 어떠한가?
• RQ5 객체 제안을 사용하면, 운동 외의 변화(예: 조명, 시점 변화)에 대한 불변성을 정적 또는 부분적으로 움직이는 객체에서 효과적으로 포착할 수 있는가?

주요 결과

• MIT Indoor 67에서 38.1%의 정확도를 달성하여, 모든 기준 비지도 방법을 능가하고, 유사한 데이터 설정에서 시각적 추적 기반 기준 [7]보다 1.5% 높은 성능을 보였다.
• PASCAL VOC 2007에서 45.6%의 mAP를 기록하여, 다음으로 우수한 비지도 방법(Pathak et al. [12])보다 2.9% 포인트 높고, 시각적 추적 기반 기준보다도 2.0 포인트 높았다.
• PASCAL VOC 2012에서 44.1%의 mAP를 기록하여, 시각적 추적 기반 기준 [7]보다 2.0 포인트 높고, 다음으로 우수한 기준보다도 1.8 포인트 높았다.
• 자기지도 사전 훈련 설정에서 MIT Indoor 67에서는 34%의 정확도, VOC 2007에서는 46%의 mAP를 기록하여, 무작위 가우시안 초기화(28.9% 및 41.3%)와 다른 비지도 기준보다 뚜렷이 뛰어났다.
• 제거 분석 결과, 전체 프레임 또는 정사각형 영역 기반의 기준보다 영역 제안 기반 훈련이 더 효과적임을 확인하여 국소화된 객체 중심 학습의 이점이 있음을 입증했다.
• 다음 작업에 대한 일반화 성능도 뛰어나, 소규모 레이블이 있는 데이터셋으로 미세조정을 수행한 후에도 모든 다른 비지도 사전 훈련 기준보다 일관되게 뛰어난 성능를 보였다.