[논문 리뷰] Self-supervised Spatio-temporal Representation Learning for Videos by Predicting Motion and Appearance Statistics

Jiangliu Wang, Jianbo Jiao외 4명|arXiv (Cornell University)|2019. 04. 07.

Human Pose and Action Recognition참고 문헌 45인용 수 9

한 줄 요약

이 논문은 운동 및 외관 통계—예를 들어 주로 운동하는 영역, 그 방향, 색상 다양성 등—을 예측함으로써 공간적 및 시간적 통계 패턴을 활용하는 비지도 시공간 표현 학습 방법을 제안한다. 이러한 직관적이고 인간의 인식과 일관된 감독 신호를 사용해 C3D를 레이블이 없는 영상에서 사전 훈련함으로써, 행동 인식(UCF101에서 61.2%)과 행동 유사성 레이블링, 동적 환경 인식과 같은 전이 학습 과제에서 최신 기술 수준(SOTA)의 성능을 달성한다.

ABSTRACT

We address the problem of video representation learning without human-annotated labels. While previous efforts address the problem by designing novel self-supervised tasks using video data, the learned features are merely on a frame-by-frame basis, which are not applicable to many video analytic tasks where spatio-temporal features are prevailing. In this paper we propose a novel self-supervised approach to learn spatio-temporal features for video representation. Inspired by the success of two-stream approaches in video classification, we propose to learn visual features by regressing both motion and appearance statistics along spatial and temporal dimensions, given only the input video data. Specifically, we extract statistical concepts (fast-motion region and the corresponding dominant direction, spatio-temporal color diversity, dominant color, etc.) from simple patterns in both spatial and temporal domains. Unlike prior puzzles that are even hard for humans to solve, the proposed approach is consistent with human inherent visual habits and therefore easy to answer. We conduct extensive experiments with C3D to validate the effectiveness of our proposed approach. The experiments show that our approach can significantly improve the performance of C3D when applied to video classification tasks. Code is available at https://github.com/laura-wang/video_repres_mas.

연구 동기 및 목표

• 인간이 레이블링한 데이터 없이 강력한 시공간 영상 표현을 학습하는 데 도전한다.
• 이전의 비지도 학습 방법들이 단일 또는 이중 프레임에서만 작동해 시간 모델링이 필요한 영상 과제에 부적합한 한계를 극복한다.
• 직관적이며 인간의 시각 인식과 일관된 자극을 제공하는 비지도 과제를 개발하여 C3D와 같은 3D 컨볼루션 신경망의 효과적인 사전 훈련을 가능하게 한다.
• 행동 인식을 넘어서 동적 환경 인식 및 행동 유사성 레이블링과 같은 후행 영상 이해 과제로의 학습된 특징의 전이 가능성(transferability)을 입증한다.

제안 방법

• 운동 및 외관에서 유도된 통계적 특징—예를 들어 가장 주목할 만한 운동 영역과 그 방향, 높은 색상 다양성 또는 안정성 영역—을 예측하는 비지도 과제를 설계한다.
• 지역화된 시공간 통계를 추출하기 위해 여러 격자 패턴을 사용해 각 영상 프레임을 공간적 영역으로 분할한다.
• 이러한 통계 레이블—예를 들어 주요 운동 벡터, 영역 내 주된 색상, 시간에 따른 색상 분산—을 사전 훈련 중 감독 신호로 사용한다.
• 원시 영상 입력에서 이러한 수치 통계를 회귀하는 3D 컨볼루션 신경망(C3D)을 훈련시켜 시공간 특징의 엔드 투 엔드 학습을 가능하게 한다.
• 인간 시각 시스템의 운동 및 외관 경로의 생물학적 타당성을 기반으로 통계 목표의 설계를 이끌어낸다.
• 이러한 통계 예측 과제를 사용해 대규모 레이블이 없는 영상 데이터에서 C3D 네트워크를 사전 훈련한 후, 후행 과제에서 미세 조정하거나 특징 추출기로 활용한다.

실험 결과

연구 질문

• RQ1 운동 및 외관의 직관적이고 인간과 일치하는 통계 패턴을 기반으로 한 비지도 학습이 영상의 시공간 표현 학습을 향상시킬 수 있는가?
• RQ2 운동 및 외관 통계를 예측하는 것이 무작위 또는 지도 학습 사전 훈련보다 영상 인식 과제에서 더 나은 전이 성능을 내는가?
• RQ3 비지도 사전 훈련된 C3D 모델이 행동 유사성 레이블링 및 동적 환경 인식과 같은 후행 과제로 효과적으로 일반화될 수 있는가?
• RQ4 기존의 비지도 영상 학습 접근법과 비교해 본다면, 제안된 방법은 성능 및 특징 품질 측면에서 어떻게 다른가?

주요 결과

• 제안된 비지도 과제를 사용해 C3D를 사전 훈련하면 UCF101에서 상위 1위 정확도가 61.2%에 도달하며, 랜덤 초기화에서 훈련한 경우(45.4%)보다 뚜렷한 향상이 이루어진다.
• ASLAN 데이터셋에서 행동 유사성 레이블링 과제에서 인간 레이블링 데이터로 사전 훈련한 C3D 모델(58.3%)보다 비지도 사전 훈련된 C3D 모델이 59.4%의 정확도를 달성하여 뛰어난 성능을 보였다.
• UCF101에서 미세 조정한 비지도 사전 훈련 모델은 ASLAN에서 62.3%의 정확도를 기록했으며, 수작업 특징(STIP)의 60.9%를 초월했다.
• YUPENN 동적 환경 인식 데이터셋에서 비지도 C3D 모델은 90.2%의 정확도를 달성했으며, 이는 이전의 비지도 방법(86.9%)과 수작업 특징을 모두 능가하는 성능이다.
• 모델은 제로샷 전이에서도 잘 일반화된다: 사전 훈련 과정에서 ASLAN 데이터셋을 한 번도 본 적 없음에도 불구하고 59.4%의 정확도를 달성하여 강력한 전이 가능성(transferability)을 입증했다.
• 성능 향상 요인은 생물학적으로 영감을 얻은 통계 예측 과제를 통해 모델이 더 맥락 인식 능력이 뛰어나고 의미 있는 시공간 특징을 학습하기 때문으로 분석된다.