[논문 리뷰] Unsupervised Representation Learning by Sorting Sequences

Hsin-Ying Lee, Jia‐Bin Huang외 2명|arXiv (Cornell University)|2017. 08. 03.

Human Pose and Action Recognition참고 문헌 39인용 수 27

한 줄 요약

이 논문은 레이블이 없는 비디오 프레임을 시간 순서에 따라 재정렬하도록 훈련하는 비지도 표현 학습 방법을 제안한다. 이는 시간적 일관성을 자기지도 신호로 활용하여, 컨볼루션 신경망이 일반화 가능한 시각적 표현을 학습하도록 한다. 순서 예측 네트워크(OPN)에서 쌍별 특징 추출을 통해 모델은 행동 인식, 이미지 분류, 객체 검출 벤치마크에서 최신 기술을 능가하는 성능을 보이는 사전 훈련으로 활용 가능한 일반화 능력 있는 시각적 표현을 학습한다.

ABSTRACT

We present an unsupervised representation learning approach using videos without semantic labels. We leverage the temporal coherence as a supervisory signal by formulating representation learning as a sequence sorting task. We take temporally shuffled frames (i.e., in non-chronological order) as inputs and train a convolutional neural network to sort the shuffled sequences. Similar to comparison-based sorting algorithms, we propose to extract features from all frame pairs and aggregate them to predict the correct order. As sorting shuffled image sequence requires an understanding of the statistical temporal structure of images, training with such a proxy task allows us to learn rich and generalizable visual representation. We validate the effectiveness of the learned representation using our method as pre-training on high-level recognition problems. The experimental results show that our method compares favorably against state-of-the-art methods on action recognition, image classification and object detection tasks.

연구 동기 및 목표

• 레이블이 없는 비디오를 사용하면서 의미적 애너테이션을 요구하지 않는 자기지도 표현 학습 방법을 개발하는 것.
• 비디오 시퀀스 내 시간적 일관성을 시각적 특징 학습을 위한 지도 신호로 활용하는 것.
• 행동 인식, 이미지 분류, 객체 검출과 같은 후행 작업에서 일반화 능력과 성능을 향상시키는 것.
• 순서 정렬 작업을 효과적으로 해결하기 위해 쌍별 특징 융합을 수행하는 순서 예측 네트워크(OPN)라는 신경망 아키텍처를 설계하는 것.
• 시퀀스 정렬을 통한 비지도 사전 훈련이 지도 사전 훈련과 비교해도 경쟁 가능한 성능을 낼 수 있음을 검증하는 것.

제안 방법

• 표현 학습을 시퀀스 정렬 작업으로 정식화한다: 무작위로 섞인 프레임 튜플이 주어지면, 네트워크는 올바른 시간적 순서를 예측한다.
• 순서 예측 네트워크(OPN)를 제안하며, 모든 쌍별 프레임 조합에서 특징을 계산하고 이를 집계하여 상대적 순서를 예측한다.
• 각 프레임 쌍에서 특징을 추출하기 위해 시아미즈 유사 이중 브랜치 아키텍처를 사용하고, 이후 융합 모듈을 통해 올바른 순서를 예측한다.
• 색상 편향을 줄이기 위해 채널 분할 기법을 적용한다 — 각 프레임에서 대표 채널 하나를 선택함으로써, 색상에 특화된 필터 학습을 방지하고 일반화 능력을 향상시킨다.
• 대규모, 약한 애너테이션을 가진 비디오 컬렉션(예: UCF-101)에서 사전 훈련을 수행하고, 제한된 레이블 데이터로 후행 작업에서 미세조정한다.
• 표준 벤치마크를 사용해 평가한다: 행동 인식에는 UCF-101과 HMDB-51, 분류 및 검출에는 PASCAL VOC 2007을 사용한다.

실험 결과

연구 질문

• RQ1 섞인 비디오 시퀀스에서 시간 순서 예측이 일반적인 시각적 표현을 학습하는 데 효과적인 자기지도 대체 작업이 될 수 있는가?
• RQ2 OPN 아키텍처에서 쌍별 특징 추출이 순서 정렬에서 프레임 특징을 직접 연결하는 것보다 더 나은 성능을 내는가?
• RQ3 시퀀스 정렬을 통한 비지도 사전 훈련이 지도 사전 훈련과 비교해 후행 인식 작업에서 경쟁 가능한 성능을 낼 수 있는가?
• RQ4 훈련 비디오의 수가 학습된 표현의 품질에 어떤 영향을 미치는가?
• RQ5 학습된 특징이 어떤 수준까지 인간의 몸체나 물체의 일부와 같은 의미 있는 의미 패턴을 감지할 수 있는가? (감독 없이)

주요 결과

• 제안된 방법은 UCF-101과 HMDB-51 행동 인식 벤치마크에서 최신 기술을 능가하는 성능을 보이며, 사전 훈련으로 사용할 경우 성능이 뛰어나다.
• 비지도 사전 훈련에 단 1,000개의 비디오만 사용해도, UCF-101에서 [24]의 성능을 초월한다.
• PASCAL VOC 2007 데이터셋에서 비지도 사전 훈련된 모델은 이미지 분류 및 객체 검출에서 경쟁적인 결과를 내며, 지도 기반 기준선에 근접한다.
• 쌍별 특징 추출을 사용한 OPN은 간단한 연결 방식보다 순서 예측 정확도와 후행 작업 성능을 향상시키며, 특히 더 긴 시퀀스(4개 프레임 튜플)에서 뚜렷한 성능 향상을 보인다.
• conv1 필터의 시각화 결과, 채널 분할이 효과적이지 않은 '색상 패치' 필터의 수를 줄여 미세조정 시 더 나은 행동을 유도함을 보여준다.
• VOC 2007에서 Pool5 특징 활성화 결과는 인간의 머리나 자동차 부품과 같은 의미 있는 영역을 감지함으로써, 감독 없이도 의미적으로 관련 있는 특징을 학습하고 있음을 시사한다.