[논문 리뷰] Temporal Contrastive Graph for Self-supervised Video Representation Learning.

Yang Liu, Keze Wang외 2명|arXiv (Cornell University)|2021. 01. 04.

Human Pose and Action Recognition참고 문헌 36인용 수 5

한 줄 요약

이 논문은 하이브리드 그래프 대비 학습 프레임워크를 통해 내부 및 상호 스니펫 간 시간적 관계를 활용하는 자기지도 학습 비디오 표현 학습 방법인 시간 대비 그래프(Temporal Contrastive Graph, TCG)를 제안한다. 마스크된 그래프 뷰와 적응형 스니펫 순서 예측 모듈을 통해 시간적 순서를 모델링함으로써, TCG는 행동 인식 및 비디오 검색 벤치마크에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Attempt to fully discover the temporal diversity and global-local chronological characteristics for self-supervised video representation learning, this work takes advantage of the temporal structure of videos and further proposes a novel self-supervised method named Temporal Contrastive Graph (TCG). In contrast to the existing methods that randomly shuffle the video frames or video snippets within a video, the TCG roots in a hybrid graph contrastive learning strategy to regard the inter-snippet and intra-snippet temporal relationships as self-supervision signals for temporal representation learning. To increase the temporal diversity of features, the TCG integrates the prior knowledge about the frame and snippet orders into temporal contrastive graphs, i.e., the intra-/inter- snippet temporal contrastive graph modules. By randomly removing edges and masking node features of the intra-snippet graphs or inter-snippet graphs, the TCG can generate different correlated graph views. Then, specific contrastive losses are designed to maximize the agreement between node embeddings in different views. To learn the global context representation and recalibrate the channel-wise features adaptively, we introduce an adaptive video snippet order prediction module, which leverages the relational knowledge among video snippets to predict the actual snippet orders. Experimental results demonstrate the superiority of our TCG over the state-of-the-art methods on large-scale action recognition and video retrieval benchmarks.

연구 동기 및 목표

• 자기지도 학습 비디오 표현 학습에서 시간적 다양성과 글로벌-로컬 연속적 구조의 한계된 활용을 해결하기 위해.
• 내부 및 상호 스니펫 간 시간적 관계를 자율 지도 신호로 모델링하여 특징 표현을 향상시키기 위해.
• 시간 대비 그래프에서 엣지 제거 및 특징 마스킹을 통해 특징의 다양성과 강건성을 향상시키기 위해.
• 스니펫 간 상관관계 지식을 활용하여 실제 비디오 스니펫 순서를 예측함으로써 글로벌 컨텍스트 표현을 학습하기 위해.
• 기존 자기지도 학습 방법에 비해 대규모 행동 인식 및 비디오 검색 벤치마크에서 뛰어난 성능을 달성하기 위해.

제안 방법

• 비디오 스니펫의 국소적 및 글로벌 시간적 의존성을 모델링하기 위해 내부 스니펫 및 상호 스니펫 간 시간 대비 그래프를 구축한다.
• 다양한 그래프 뷰를 위한 대비 학습을 위해 무작위 엣지 제거 및 노드 특징 마스킹을 적용한다.
• 다른 그래프 뷰 간 노드 임베딩 간의 일치도를 극대화하기 위해 특수한 대비 손실 함수를 설계한다.
• 스니펫 간 상관관계 지식을 활용하여 실제 스니펫 순서를 예측하는 적응형 비디오 스니펫 순서 예측 모듈을 도입한다.
• 그래프 구축 과정에 프레임 및 스니펫 순서에 대한 사전 지식을 통합하여 시간적 구조를 유지한다.
• 예측된 스니펫 순서를 보조 지도 신호로 사용하여 채널 기반 특징을 재조정하고 표현 품질을 향상시킨다.

실험 결과

연구 질문

• RQ1 자기지도 학습 비디오 표현 학습에서 시간적 다양성과 글로벌-로컬 연속적 구조를 효과적으로 활용할 수 있는가?
• RQ2 내부 및 상호 스니펫 간 시간적 관계를 모델링하는 하이브리드 그래프 대비 학습 프레임워크가 특징 학습을 향상시킬 수 있는가?
• RQ3 프레임 및 스니펫 순서에 대한 사전 지식을 통합할 경우 표현 품질이 어느 정도 향상되는가?
• RQ4 적응형 스니펫 순서 예측 모듈이 글로벌 컨텍스트 모델링 및 특징 재조정을 향상시킬 수 있는가?
• RQ5 제안된 방법이 행동 인식 및 비디오 검색 벤치마크에서 최신 기술 수준의 성능을 달성하는가?

주요 결과

• TCG는 최신 기술 수준의 자기지도 학습 방법에 비해 대규모 행동 인식 벤치마크에서 뛰어난 성능을 달성한다.
• 비디오 검색 벤치마크에서 강력한 일반화 능력을 보이며, 강건하고 구분력 있는 특징 학습 능력을 나타낸다.
• 절단 실험을 통해 내부 및 상호 스니펫 대비 학습 구성 요소가 성능 향상에 기여한다는 것이 확인된다.
• 적응형 스니펫 순서 예측 모듈은 비디오 스니펫 간 상관관계 지식을 포착함으로써 특징 표현을 향상시킨다.
• 그래프 뷰에서의 마스킹 및 무작위 엣지 제거가 특징의 다양성을 향상시키고 노이즈에 대한 강건성을 향상시킨다.
• 시간적 순서 사전 지식을 그래프 구조에 통합함으로써 더 일관되고 의미적으로 유의미한 표현이 도출된다.