[논문 리뷰] Video Representation Learning by Dense Predictive Coding

Tengda Han, Weidi Xie외 1명|arXiv (Cornell University)|2019. 09. 10.

Human Pose and Action Recognition참고 문헌 49인용 수 48

한 줄 요약

Dense Predictive Coding (DPC) 은 미래 임베딩을 밀집하고 순차적으로 예측하여 자기 지도 방식으로 스페이시오-시간 비디오 표현을 학습하며, 커리큘럼을 사용해 미래 예측을 확장하고 RGB 프레임만으로도 강력한 행동 인식 성능을 달성합니다.

ABSTRACT

The objective of this paper is self-supervised learning of spatio-temporal embeddings from video, suitable for human action recognition. We make three contributions: First, we introduce the Dense Predictive Coding (DPC) framework for self-supervised representation learning on videos. This learns a dense encoding of spatio-temporal blocks by recurrently predicting future representations; Second, we propose a curriculum training scheme to predict further into the future with progressively less temporal context. This encourages the model to only encode slowly varying spatial-temporal signals, therefore leading to semantic representations; Third, we evaluate the approach by first training the DPC model on the Kinetics-400 dataset with self-supervised learning, and then finetuning the representation on a downstream task, i.e. action recognition. With single stream (RGB only), DPC pretrained representations achieve state-of-the-art self-supervised performance on both UCF101(75.7% top1 acc) and HMDB51(35.7% top1 acc), outperforming all previous learning methods by a significant margin, and approaching the performance of a baseline pre-trained on ImageNet.

연구 동기 및 목표

• 스포시오-템포럴 비디오 임베딩을 위한 자기 지도 학습의 필요성 및 행동 인식을 위한 적합성 제시.
• 과거 컨텍스트로부터 미래의 밀집 표현을 예측하기 위해 Dense Predictive Coding (DPC) 도입.
• 감소하는 시간적 맥락으로 더 먼 미래를 예측하는 커리큘럼 학습 방식을 제안.
• RGB 스트림에서 DPC 가 UCF101 및 HMDB51에서 최첨단 자기 지도 결과를 달성하고 ImageNet 전처리 기반 기준치에 근접함을 보이고,.
• 자기 지도 이점과 하류의 감독 성능 간의 상관관계를 평가합니다.

제안 방법

• 3D-ResNet 인코더로 비디오 블록을 인코딩하여 z_t 를 얻습니다.
• ConvGRU 로 과거 잠재 코드 z_t 를 모아 컨텍스트 c_t 를 형성합니다.
• 작은 예측기  를 이용해 미래 임베딩 hat{z}_{t+1}, hat{z}_{t+2}, ... 를 예측합니다.
• 공간 위치와 시간 스텝 전반에 걸친 밀집 다중 방향 NCE 손실로 학습합니다.
• 광류(Optical flow)에 의존하지 않도록 프레임 단위 증강을 사용하고 커리큘럼 학습으로 미래 예측 horizon 을 확장합니다.
• 선택적으로 하류 행동 인식 작업에 대해 학습된 표현을 미세 조정합니다.

실험 결과

연구 질문

• RQ1 RGB 비디오로부터의 밀집 스페이시오-템포럴 임베딩의 자기 지도 학습이 행동 인식에 경쟁력 있는 표현으로 이어질 수 있는가?
• RQ2 ,
• RQ3 ,
• RQ4 ],
• RQ5 key_findings:[

주요 결과

• DPC 는 RGB 스트림에서 UCF101(일부 설정에서 top1 75.7%) 및 HMDB51(top1 35.7%)에서 최첨단 자기 지도 성능을 달성하여 이전의 RGB-전용 방법을 능가합니다.
• 커리큘럼 학습 스킴을 가진 밀집적, 순차적 미래 시공간 블록 예측은 학습 표현과 하류의 행동 인식을 개선합니다.
• 더 큰 데이터셋(Kinetics-400)에서의 사전 학습은 UCF101 만 사용한 경우보다 더 강한 하류 성능을 보여 확장의 이점을 시사합니다.
• DPC 사전 학습 중 자기 지도 정확도와 하류의 감독된 행동 인식 정확도 사이에 양의 상관관계가 있습니다.
• 미래를 더 멀리 예측하는 것이(커리큘럼 하에서) 하류 성능을 향상시킬 수 있으며, 확장 작업에서의 자기 지도 정확도가 낮더라도 의미 학습이 더 강하다는 것을 시사합니다.