[논문 리뷰] ASCNet: Self-supervised Video Representation Learning with Appearance-Speed Consistency

Deng Huang, Wenhao Wu외 7명|arXiv (Cornell University)|2021. 06. 04.

Human Pose and Action Recognition참고 문헌 42인용 수 5

한 줄 요약

ASCNet는 다양한 재생 속도 간의 외관 일관성과 동일 프레임 레이트를 가진 비디오 간의 속도 일관성을 강제하여 음성 쌍이 필요 없도록 하는 자기지도 학습 비디오 표현 학습 프레임워크를 제안한다. 외관 기반 검색 전략을 통해 이 두 작업을 동시에 최적화함으로써 ASCNet은 최신 기술 수준의 성능을 달성하며, 감독 학습 전처리 없이 UCF-101 행동 인식에서 90.8%의 정확도를 기록하여 ImageNet-기반 감독 모델을 능가한다.

ABSTRACT

We study self-supervised video representation learning, which is a challenging task due to 1) lack of labels for explicit supervision; 2) unstructured and noisy visual information. Existing methods mainly use contrastive loss with video clips as the instances and learn visual representation by discriminating instances from each other, but they need a careful treatment of negative pairs by either relying on large batch sizes, memory banks, extra modalities or customized mining strategies, which inevitably includes noisy data. In this paper, we observe that the consistency between positive samples is the key to learn robust video representation. Specifically, we propose two tasks to learn the appearance and speed consistency, respectively. The appearance consistency task aims to maximize the similarity between two clips of the same video with different playback speeds. The speed consistency task aims to maximize the similarity between two clips with the same playback speed but different appearance information. We show that optimizing the two tasks jointly consistently improves the performance on downstream tasks, e.g., action recognition and video retrieval. Remarkably, for action recognition on the UCF-101 dataset, we achieve 90.8\% accuracy without using any extra modalities or negative pairs for unsupervised pretraining, which outperforms the ImageNet supervised pretrained model. Codes and models will be available.

연구 동기 및 목표

• 자신지도 학습에서 레이블이 없는 데이터나 노이즈가 있는 음성 쌍이 없는 강건한 비디오 표현 학습의 과제를 해결하기 위해.
• 비디오 데이터 내부의 본질적 일관성을 활용하여 복잡한 데이터 마이닝이나 메모리 백업에 의존도를 줄이기 위해.
• 통합된 사전 학습 프레임워크를 통해 행동 인식 및 비디오 검색의 최종 성능을 향상시키기 위해.
• 대비 학습에서 저품질 또는 동일 클래스의 음성 샘플이 악영향을 미치는 것을 방지하기 위해.

제안 방법

• 외관 일관성 인식(Appearance Consistency Perception, ACP)을 도입: 동일한 비디오에서 다른 재생 속도를 가진 클립 간의 유사도를 최대화한다.
• 속도 일관성 인식(Speed Consistency Perception, SCP)을 제안: 동일한 재생 속도를 가졌지만 외관이 다른 다른 비디오의 클립 간의 유사도를 최대화한다.
• SCP에 고품질의 양성 샘플을 선택하기 위해 외관 기반 검색 전략을 활용하여 ACP 목표와 일치시킨다.
• 3D CNN 백본(예: ResNet-18, S3D-G)을 사용해 특징을 추출하고, 대비 손실을 통해 ACP와 SCP를 동시에 최적화한다.
• 검색 작업에서 비디오 수준 표현을 얻기 위해 각 비디오당 10개 클립에 대해 평균 풀링을 적용한다.
• 음성 샘플링을 명시적으로 방지하고 양성 일관성에 의존함으로써 훈련의 강건성을 향상시킨다.

Figure 1 : An illustration of appearance-speed consistency. Video clips (a) and (b) come from the same video, and the appearance is consistent with different playback speeds. On the other hand, by using the same frame interval, we can sample the clip (c) from different videos but with the same playb

실험 결과

연구 질문

• RQ1 다른 재생 속도 간의 외관 일관성은 자기지도 비디오 표현 학습을 위한 강력한 사전 학습 과제가 될 수 있는가?
• RQ2 동일한 프레임 레이트를 가진 비디오 간의 속도 일관성은 음성 쌍이 없이도 특징의 구분 능력을 향상시킬 수 있는가?
• RQ3 외관 일관성과 속도 일관성을 결합하면 기존의 대비 방법에 비해 최종 성능을 어떻게 향상시키는가?
• RQ4 외관 기반 검색 전략은 외관 일관성과 속도 일관성 과제 사이의 격차를 효과적으로 메울 수 있는가?
• RQ5 음성 쌍을 제거함으로써 대용량 배치 음성 또는 메모리 백업에 의존하는 방법보다 더 나은 일반화 성능을 달성할 수 있는가?

주요 결과

• ASCNet은 RGB 모odal리티와 자기지도 학습 전처리만을 사용하여 UCF-101 행동 인식에서 90.8%의 정확도를 달성하며, ImageNet-기반 감독 모델(86.6%)을 능가한다.
• HMDB-51에서 ASCNet은 S3D-G 백본을 사용해 60.5%의 정확도를 기록하며, 이는 이전의 자기지도 학습 방법인 Pace(52.6%)와 RSPNet(59.9%)를 모두 능가한다.
• 3D ResNet-18 백본을 사용할 경우 ASCNet은 UCF-101에서 80.5%의 정확도를 기록하며, 3D-RotNet(62.9%), ST-Puzzle(65.8%), DPC(68.2%)를 크게 앞서 간다.
• 비디오 검색에서 ASCNet은 UCF-101에서 45.9%의 정확도를 기록하며, 다음으로 좋은 성능을 낸 방법보다 뚜렷한 향상을 보이며 매우 구분 능력 있는 특징 학습을 확인한다.
• 300개의 전훈련 에포크 이후 성능이 포화 상태에 도달하며, 200 에포크에서 이미 강력한 성능(80.52%)을 달성한다.
• 정성적 결과는 의미적으로나 시각적으로 유사한 비디오를 성공적으로 검색함을 보여주며, 모델이 의미 있는 외관 및 운동 특징을 학습하고 있음을 확인한다.

Figure 2 : Illustration of the proposed framework. Given a set of video clips with different playback speed ( i.e. , $1\times$ and $2\times$ ), we use a video encoder $f(\cdot;\theta)$ to map the clips into appearance and speed embedding space. For the ACP task, we pull the appearance features from