[논문 리뷰] Representation Learning with Video Deep InfoMax

Hjelm, R Devon외 2명|arXiv (Cornell University)|2020. 07. 27.

Human Pose and Action Recognition참고 문헌 71인용 수 15

한 줄 요약

이 논문은 영상의 시공간 네트워크 구조를 활용하여 자연 주기와 시간적으로 다운샘플된 영상 시퀀스에서 뷰를 생성함으로써 DeepInfoMax를 영상으로 확장한 자기지도 학습 영상 표현 학습 방법인 Video Deep InfoMax (VDIM)을 소개한다. VDIM은 대규모 모델을 사용하지 않고 자기지도 학습 전훈과 미세조정만으로도 Kinetics 사전학습된 행동 인식에서 최신 기술 수준(SoTA) 성능을 달성하였으며, UCF-101에서도 새로운 SoTA 성능을 기록하였다.

ABSTRACT

Self-supervised learning has made unsupervised pretraining relevant again for difficult computer vision tasks. The most effective self-supervised methods involve prediction tasks based on features extracted from diverse views of the data. DeepInfoMax (DIM) is a self-supervised method which leverages the internal structure of deep networks to construct such views, forming prediction tasks between local features which depend on small patches in an image and global features which depend on the whole image. In this paper, we extend DIM to the video domain by leveraging similar structure in spatio-temporal networks, producing a method we call Video Deep InfoMax(VDIM). We find that drawing views from both natural-rate sequences and temporally-downsampled sequences yields results on Kinetics-pretrained action recognition tasks which match or outperform prior state-of-the-art methods that use more costly large-time-scale transformer models. We also examine the effects of data augmentation and fine-tuning methods, accomplishingSoTA by a large margin when training only on the UCF-101 dataset.

연구 동기 및 목표

• 시공간 특징 구조를 활용하여 이미지에서 영상으로 DeepInfoMax(DIM) 프레임워크를 확장하는 것.
• 영상 뷰를 활용한 자기지도 전훈이 행동 인식에서 비용이 많이 드는 트랜스포머 기반 모델과 경쟁하거나 뛰어넘을 수 있는지 조사하는 것.
• 자기지도 영상 표현 학습에서 데이터 증강 및 미세조정 전략의 영향을 평가하는 것.
• 자기지도 전훈과 표준적인 미세조정만을 사용하여 UCF-101에서 최신 기술 수준(SoTA) 성능을 달성하는 것.

제안 방법

• VDIM은 원본 주기와 시간적으로 다운샘플된 영상 클립에서 뷰를 생성하여 다양한 시공간 뷰를 만든다.
• 시공간 컨볼루션 네트워크에서 유도된 局부 및 전반적 특징 표현을 사용하여 패치 간 및 전체 클립 간의 대비 손실을 계산한다.
• 지역 특징과 전체 영상 수준의 표현 간 상호정보량을 최대화함으로써 대비 학습을 적용한다.
• 시간적 자르기 및 프레임 샘플링을 포함한 데이터 증강을 영상 클립에 적용하여 뷰를 생성한다.
• 동일한 영상의 서로 다른 뷰 간 특징 간 일치를 장려하는 대비 목적 함수를 사용하여 모델을 전훈한다.
• 하류 행동 인식 벤치마크에서 표준 선형 또는 엔드 투 엔드 분류 헤드를 사용하여 미세조정을 수행한다.

실험 결과

연구 질문

• RQ1 시공간 특징을 활용하여 DeepInfoMax 프레임워크를 영상 표현 학습으로 성공적으로 확장할 수 있는가?
• RQ2 자연 주기 영상과 다운샘플된 영상 뷰를 모두 사용할 경우 단일 뷰 접근 방식에 비해 자기지도 영상 표현 학습 성능이 향상되는가?
• RQ3 행동 인식에서 성능과 계산 비용 측면에서 VDIM은 대규모 트랜스포머 기반 모델과 비교해 어떻게 성능을 내는가?
• RQ4 데이터 증강 및 미세조정 전략이 VDIM의 최종 정확도에 어떤 영향을 미치는가?
• RQ5 자기지도 전훈과 표준적인 미세조정만을 사용하여 VDIM이 UCF-101에서 최신 기술 수준(SoTA) 성능을 달성할 수 있는가?

주요 결과

• VDIM은 대규모이자 더 비싼 트랜스포머 기반 아키텍처를 사용한 이전 방법들과 경쟁하거나 뛰어넘는 성능을 보이며, Kinetics 사전학습된 행동 인식에서 최신 기술 수준(SoTA) 성능을 달성하였다.
• UCF-101 데이터셋에서 VDIM은 자기지도 전훈과 표준적인 미세조정만을 사용하여 최신 기술 수준(SoTA) 결과를 기록하였다.
• 자연 주기 영상과 시간적으로 다운샘플된 영상 시퀀스를 모두 뷰로 사용할 경우 단일 뷰 기반 모델에 비해 표현 품질이 크게 향상됨을 확인하였다.
• 데이터 증강 및 미세조정 전략은 특히 UCF-101과 같은 작은 데이터셋에서 성능을 극대화하는 데 핵심적인 역할을 하였다.
• VDIM은 대규모 모델 없이도 효과적인 자기지도 영상 학습이 가능하며, 계산 비용을 줄이면서도 높은 정확도를 유지할 수 있음을 보여주었다.