[논문 리뷰] Self-Supervised Video Representation Learning With Odd-One-Out Networks

Basura Fernando, Hakan Bilen외 2명|arXiv (Cornell University)|2016. 11. 21.

Human Pose and Action Recognition참고 문헌 41인용 수 7

한 줄 요약

이 논문은 비디오 표현 학습을 위한 자기지도 학습 방법인 오드원아웃 네트워크(Odd-One-Out Networks, O3N)를 제안한다. 이 방법은 다중 스트림 CNN을 사용하여 주어진 정확한 순서로 정렬된 클립들 중에서 시간적으로 잘못된 순서의 클립을 식별하도록 훈련시킨다. 이 방법은 레이블이 없는 비디오 데이터만을 사용하여 UCF101에서 60.3%의 정확도, HMDB51에서 32.5%의 정확도를 기록했으며, 이는 이전 자기지도 학습 방법보다 각 벤치마크에서 10% 이상 높은 성능이다.

ABSTRACT

We propose a new self-supervised CNN pre-training technique based on a novel auxiliary task called "odd-one-out learning". In this task, the machine is asked to identify the unrelated or odd element from a set of otherwise related elements. We apply this technique to self-supervised video representation learning where we sample subsequences from videos and ask the network to learn to predict the odd video subsequence. The odd video subsequence is sampled such that it has wrong temporal order of frames while the even ones have the correct temporal order. Therefore, to generate a odd-one-out question no manual annotation is required. Our learning machine is implemented as multi-stream convolutional neural network, which is learned end-to-end. Using odd-one-out networks, we learn temporal representations for videos that generalizes to other related tasks such as action recognition. On action classification, our method obtains 60.3\% on the UCF101 dataset using only UCF101 data for training which is approximately 10% better than current state-of-the-art self-supervised learning methods. Similarly, on HMDB51 dataset we outperform self-supervised state-of-the art methods by 12.7% on action classification task.

연구 동기 및 목표

• 인간이 레이블링한 동작 레이블에 의존하지 않는 자기지도 학습 비디오 표현 학습 방법을 개발하는 것.
• 레이블이 없는 데이터만을 사용하여 비디오의 시간적 일관성을 학습하는 과제를 해결하는 것.
• 외부 감독이나 ImageNet에서의 사전 훈련 없이도 다운스트림 행동 인식 작업에 대한 비디오 특징의 일반화를 향상시키는 것.
• 새로운 보조 과제인 관련 클립 세트에서 오직 하나의 클립만 다른 클립과 어울리지 않는 것을 식별하는 방식을 통해 비디오에서의 유추적 사고를 탐색하는 것.

제안 방법

• 각 브랜치가 N+1개의 클립 중 하나의 비디오 클립을 처리하는 다중브랜치 CNN 아키텍처를 사용한다.
• 오드원아웃 과제는 정확한 시간 순서로 정렬된 N개의 클립들 중에서 프레임 순서가 잘못된 클립을 식별하는 것으로 정의된다.
• 네트워크는 시간적 일관성을 감독 신호로 활용하여 오직 한 클립만 식별하도록 종합적으로 훈련된다.
• 세 가지 비디오 클립 인코딩 방법을 평가한다: 차분의 합, 동적 이미지, 프레임의 차분의 누적.
• 훈련 중에 오직 한 클립만 무작위로 N+1개 클립 중 위치가 배정되어 간단한 해결책을 방지한다.
• 표준 UCF101 및 HMDB51 분할 방식을 사용하여 행동 분류 과제에서 특징를 미세조정한다.

실험 결과

연구 질문

• RQ1 오드원아웃 추론에 기반한 자기지도 학습 접근법이 인간이 레이블링한 레이블 없이도 효과적인 비디오 표현을 학습할 수 있는가?
• RQ2 기존 자기지도 학습 방법과 비교해 볼 때 오드원아웃 학습은 행동 인식에 얼마나 잘 일반화되는가?
• RQ3 차분의 합 또는 동적 이미지와 같은 다양한 비디오 클립 인코딩 전략이 이 방법에 유익한가?
• RQ4 UCF101 및 HMDB51와 같은 표준 벤치마크에서 최신 자기지도 학습 방법을 능가할 수 있는가?
• RQ5 오드원아웃 과제는 비디오의 시공간 운동 패턴 학습을 어느 정도 장려하는가?

주요 결과

• O3N 방법은 UCF101 데이터만을 사용하여 훈련함으로써 UCF101에서 60.3%의 정확도를 달성했으며, 이는 이전 자기지도 학습 방법보다 10% 이상 높은 성능이다.
• HMDB51에서는 32.5%의 정확도를 기록했으며, 이는 이전 최고 성능보다 12.7%포인트 높은 성능이다.
• 차분의 누적을 사용한 비디오 클립 인코더가 평가된 세 가지 인코더 중에서 가장 높은 성능을 보였으며, UCF101에서 60.3%, HMDB51에서 32.5%의 정확도를 기록했다.
• 학습된 필터의 시각화 결과는 각기 다른 인코더에서 고유한 패턴을 보이며, 네트워크가 작업에 특화된 운동 표현을 학습하고 있음을 시사한다.
• 이 방법은 다양한 비디오 클립 인코딩 기법에 대해 일반화되며, 무작위 초기화 및 기초 자기지도 학습 방법보다 일관되게 향상된 성능을 보였다.
• ImageNet 사전 훈련 없이도 O3N는 뛰어난 성능을 기록했으며, 이는 감독 훈련을 대체할 수 있는 완전한 자기지도 학습 대안으로서의 잠재력을 시사한다.