[논문 리뷰] Video 3D Sampling for Self-supervised Representation Learning

Wei Li, Dezhao Luo외 3명|arXiv (Cornell University)|2021. 07. 08.

Human Pose and Action Recognition참고 문헌 35인용 수 10

한 줄 요약

이 논문은 공간(가로, 세로)과 시간(시간) 차원을 활용하여 rich한 시공간 특징을 학습하는 자기지도 학습 표현 학습 방법인 Video 3D Sampling (V3S)을 제안한다. 모든 세 가지 차원에 걸쳐 척도 및 투영 변환을 적용함으로써 V3S는 동작 인식, 비디오 검색, 동작 유사성 레이블링에서 성능을 향상시키며, UCF101, HMDB51, ASLAN에서 상당한 격차로 최신 기술 수준(SOTA)을 달성한다.

ABSTRACT

Most of the existing video self-supervised methods mainly leverage temporal signals of videos, ignoring that the semantics of moving objects and environmental information are all critical for video-related tasks. In this paper, we propose a novel self-supervised method for video representation learning, referred to as Video 3D Sampling (V3S). In order to sufficiently utilize the information (spatial and temporal) provided in videos, we pre-process a video from three dimensions (width, height, time). As a result, we can leverage the spatial information (the size of objects), temporal information (the direction and magnitude of motions) as our learning target. In our implementation, we combine the sampling of the three dimensions and propose the scale and projection transformations in space and time respectively. The experimental results show that, when applied to action recognition, video retrieval and action similarity labeling, our approach improves the state-of-the-arts with significant margins.

연구 동기 및 목표

• 기존 자기지도 학습 비디오 방법이 공간적 의미와 운동 방향을 충분히 활용하지 못하고 오직 시간 신호에만 집중하는 한계를 해결하기 위해.
• 효과적인 자기지도 사전학습을 가능하게 하면서도 비디오 의미적 구조를 유지하는 방법을 개발하기 위해.
• 운동 방향과 공간적 의미가 통합된 다중 작업 프레임워크에서 시공간 표현 학습에 기여하는 방식을 탐색하기 위해.
• 자기지도 사전학습을 통해 행동 인식, 비디오 검색, 행동 유사성 레이블링 등의 최종 작업 성능을 향상시키기 위해.
• 소규모 데이터셋인 UCF101을 사용하여 단순하지만 효과적인 사전 과제를 통해 고품질 표현을 학습할 수 있음을 입증하기 위해.

제안 방법

• V3S는 가로(W), 세로(H), 시간(T)의 세 가지 차원에서 샘플링을 수행하여 시공간 정보를 추출한다.
• 공간 학습을 위해, 객체 크기와 운동 방향을 수정하기 위해 공간 척도 및 공간 투영을 적용한다.
• 시간 학습을 위해, 운동 속도와 그 변화 패턴을 변경하기 위해 시간 척도 및 점진적 빠른 프리패스 샘플링을 사용한다.
• 변환을 자기지도 대비 학습의 감독 신호로 사용하는 다중 작업 학습 프레임워크를 제안한다.
• 과도한 프레임 제거를 방지함으로써 속도 증가 중 의미 손실을 최소화하는 점진적 빠른 프리패스 전략을 적용한다.
• 모델은 Kinetics-400에서 사전학습하고, 선형 평가 프로토콜을 사용하여 최종 작업에 대해 미세조정한다.

실험 결과

연구 질문

• RQ1 운동 방향과 공간적 의미가 자기지도 학습 비디오 표현 학습에서 감독 신호로 효과적으로 활용될 수 있는가?
• RQ2 가로, 세로, 시간에 걸친 3차원 샘플링이 순수하게 시간적 또는 공간적 사전 과제보다 특징 품질을 어떻게 향상시키는가?
• RQ3 척도 및 투영 변환 기반 자기지도 방법이 최종 비디오 이해 작업에서 최신 기술 수준(SOTA) 성능을 달성할 수 있는가?
• RQ4 프레임 랜덤화 또는 입자 퍼즐 방법과 비교해 V3S는 데이터 증강 중 의미적 구조를 어느 정도 유지하는가?
• RQ5 V3S는 UCF101과 같은 소규모 데이터셋에서 자기지도 학습과 지도 학습 간 성능 격차를 줄일 수 있는가?

주요 결과

• V3S는 C3D를 사용해 UCF101에서 상위-1 정확도 78.3%를 달성하여 이전 자기지도 학습 방법을 능가하고 새로운 SOTA를 수립한다.
• HMDB51에서 R3D를 사용한 V3S는 65.4%의 정확도를 기록하여 이전 SOTA인 60.9%를 크게 상회한다.
• 비디오 검색에서 R3D를 사용한 V3S는 상위-1 정확도 65.4%를 기록하여 상위-1에서 상위-50까지의 모든 지표에서 이전 모든 방법을 능가한다.
• ASLAN 행동 유사성 레이블링 벤치마크에서 R3D를 사용한 V3S는 최고의 정확도를 기록하며 자기지도 학습과 지도 학습 간 격차를 좁혔다.
• Grad-CAM 시각화 결과 V3S는 활동 다이내믹스(예: 궁수에서 손 움직임)와 일치하는 주의 맵을 학습하는 것으로 확인되었다.
• 점진적 빠른 프리패스 샘플링 전략은 의미적 콘텐츠를 효과적으로 유지하면서도 강력한 속도 예측 학습을 가능하게 한다.