[논문 리뷰] Learning Features by Watching Objects Move

Deepak Pathak, Ross Girshick외 3명|arXiv (Cornell University)|2016. 12. 19.

Advanced Image and Video Retrieval Techniques인용 수 18

한 줄 요약

이 논문은 영상에서 운동 기반 분할을 통해 얻은 가짜 정답(가짜 지도 데이터)을 활용하여 정적 이미지에서 객체를 분할하는 데 목적이 있는 새로운 비지도 특징 학습 방법을 제안한다. 공통 운동 원칙(Gestalt 원칙의 일환)을 활용함으로써, 이 모델은 이전의 비지도 방법보다 훨씬 뛰어난 고수준의 시각적 표현을 학습하게 되며, 특히 데이터가 부족한 조건에서 객체 검출의 전이 학습 성능에서 뛰어난 성능을 보인다.

ABSTRACT

This paper presents a novel yet intuitive approach to unsupervised feature learning. Inspired by the human visual system, we explore whether low-level motion-based grouping cues can be used to learn an effective visual representation. Specifically, we use unsupervised motion-based segmentation on videos to obtain segments, which we use as 'pseudo ground truth' to train a convolutional network to segment objects from a single frame. Given the extensive evidence that motion plays a key role in the development of the human visual system, we hope that this straightforward approach to unsupervised learning will be more effective than cleverly designed 'pretext' tasks studied in the literature. Indeed, our extensive experiments show that this is the case. When used for transfer learning on object detection, our representation significantly outperforms previous unsupervised approaches across multiple settings, especially when training data for the target task is scarce.

연구 동기 및 목표

• 인간의 시각 발달을 영감으로 삼아 간단하고 직관적인 비지도 표현 학습 방법을 개발함으로써, 운동 신호가 객체 군집화를 이끄는 데 초점을 맞춘다.
• 수동 레이블링이 필요 없이도 강력한 전이 성능를 유지하면서도, 지도 학습 사전 훈련의 한계를 해결한다.
• 운동 기반 군집화 신호가 의미 없는 레이블 없이도 일반화 가능한 시각적 특징을 학습하는 데 효과적인 감독 신호로 기능할 수 있는지 조사한다.
• 특히 레이블이 부족한 상황에서, 학습된 특징의 확장성과 전이 가능성(다양한 후행 작업 간 전이 성능)을 평가한다.

제안 방법

• 영상에서 광학 흐름( optical flow )을 사용하여 비지도 방식의 운동 기반 분할을 수행하여 함께 움직이는 픽셀들을 일관된 객체 영역으로 군집화한다.
• 이러한 운동 기반 분할 결과를, 단일 정적 프레임에서 객체 마스크를 예측하기 위한 가짜 지도 레이블로 간주하여 컨볼루션 네트워크를 훈련시킨다.
• 훈련 과정에서 운동 정보에 접근할 수 없도록 하되, 단일 프레임의 외관 특징만을 사용하여 이러한 운동 기반 마스크를 예측하도록 컨볼루션 신경망을 학습시킨다.
• 제한된 레이블 데이터를 사용하여 객체 검출, 이미지 분류, 세그멘테이션 등의 후행 작업에서 학습된 표현을 미세조정한다.
• 다중 척도의 완전 컨볼루션 네트워크 아키텍처를 사용하여 작업 간 특징의 종단 간(end-to-end) 학습과 전이를 가능하게 한다.
• 운동 신호가 모호한 정적 군집화를 해결하는 데 도움이 되며, 이는 네트워크가 저수준의 외관 특징에 의존하기보다는 객체 수준의 의미 정보를 학습하도록 유도한다.

실험 결과

연구 질문

• RQ1 정제되지 않은 영상에서 유도된 운동 기반 군집화 신호가 비지도 방식으로 일반적인 시각적 표현을 학습하는 데 효과적인 감독 신호가 될 수 있는가?
• RQ2 정적 이미지에서 운동 기반 분할 결과를 예측하도록 컨볼루션 네트워크를 훈련시키는 것이 다른 사전 훈련 과제들보다 더 잘 일반화되는 특징을 만들어내는가?
• RQ3 학습 데이터 크기가 증가함에 따라 학습된 표현의 성능가 어떻게 변화하는가?
• RQ4 제한된 레이블 데이터로 미세조정했을 때, 이 방법이 기존의 비지도 사전 훈련 방법들을 얼마나 뛰어넘을 수 있는가?

주요 결과

• 제안된 방법은 PASCAL VOC 2007 객체 검출에서 비지도 사전 훈련 방법 중 최고 성능을 기록하였으며, 이는 이전의 비지도 방법보다 10점 AP 높은 성능이며, ImageNet 사전 훈련 모델의 성능에 근접하였다.
• 제한된 데이터로 미세조정했을 때, 다른 비지도 방법들보다 뚜렷하게 뛰어난 성능를 보였으며, 특히 더 많은 층을 고정할수록 성능 향상이 두드러져 고층 특징에서의 강력한 일반화 능력을 보였다.
• 학습 데이터 크기가 증가함에 따라 표현 품질이 로그 스케일로 향상되었으며, 이는 충분한 웹 스케일의 영상 데이터(예: 약 2700만 프레임)가 확보된다면 ImageNet 사전 훈련을 초월할 수 있음을 시사한다.
• 이미지 분류 및 세그멘테이션 작업에서 VOC 2007에서는 두 번째로 높은 순위를 기록하였으며, VOC 2011에서도 상위 성능를 보였으며, 특히 영상 데이터의 동적 콘텐츠 덕분에 행동 분류 작업에서 뛰어난 성능를 보였다.
• 노이즈가 많은 운동 기반 분할 결과를 개선하는 능력을 보이며, 이는 비지도 신호에서 의미 있는 정보를 추출할 수 있음을 보여준다.
• YFCC100M 데이터셋에서 단지 160만 프레임만 사용했을 때도 강력한 성능를 기록하였으며, 데이터가 증가할수록 정확도가 크게 향상되었다.