[논문 리뷰] Enhancing Unsupervised Video Representation Learning by Decoupling the Scene and the Motion

Jinpeng Wang, Yuting Gao외 6명|arXiv (Cornell University)|2020. 09. 12.

Human Pose and Action Recognition참고 문헌 43인용 수 18

한 줄 요약

이 논문은 공간적 및 시간적 국소적 교란을 통해 양성 및 음성 비디오 클립을 구성함으로써 시간 감도를 향상시키는 자기지도 학습 비디오 표현 학습 방법인 Decoupling the Scene and Motion (DSM)을 제안한다. 잠재 공간에서 원본 클립에 대해 양성 클립은 더 가까이, 음성 클립은 더 멀리 있도록 유도함으로써 DSM은 시점 편향을 감소시키고, 동일한 백본을 사용할 때 SOTA 방법 대비 UCF101에서 8.1%, HMDB51에서 8.8% 향상된 행동 인식 성능을 달성한다.

ABSTRACT

One significant factor we expect the video representation learning to capture, especially in contrast with the image representation learning, is the object motion. However, we found that in the current mainstream video datasets, some action categories are highly related with the scene where the action happens, making the model tend to degrade to a solution where only the scene information is encoded. For example, a trained model may predict a video as playing football simply because it sees the field, neglecting that the subject is dancing as a cheerleader on the field. This is against our original intention towards the video representation learning and may bring scene bias on different dataset that can not be ignored. In order to tackle this problem, we propose to decouple the scene and the motion (DSM) with two simple operations, so that the model attention towards the motion information is better paid. Specifically, we construct a positive clip and a negative clip for each video. Compared to the original video, the positive/negative is motion-untouched/broken but scene-broken/untouched by Spatial Local Disturbance and Temporal Local Disturbance. Our objective is to pull the positive closer while pushing the negative farther to the original clip in the latent space. In this way, the impact of the scene is weakened while the temporal sensitivity of the network is further enhanced. We conduct experiments on two tasks with various backbones and different pre-training datasets, and find that our method surpass the SOTA methods with a remarkable 8.1% and 8.8% improvement towards action recognition task on the UCF101 and HMDB51 datasets respectively using the same backbone.

연구 동기 및 목표

• 비디오 표현 학습에서의 시점 편향 문제를 해결하기 위해, 모델이 정적 시점 정보에 과도하게 의존하고 운동 패턴을 적절히 활용하지 못하는 문제를 해결한다.
• 시간 감도를 향상시키고 시점 맥락에 대한 의존도를 줄여 모델의 일반화 능력을 향상시키기 위한 방법을 개발한다.
• 감독 신호나 복잡한 아키텍처 없이도 간단하고 효과적이며 즉시 적용 가능한 시점과 운동을 분리하는 방법을 개발한다.
• 표현 공간에서 시점과 운동을 분리함으로써 운동 정보가 더 잘 활용됨을 검증한다.

제안 방법

• 각 비디오에 대해, 원본 비디오에 공간적 국소적 교란을 적용함으로써 운동 패턴을 유지하면서 양성 클립을 생성하고, 시간적 국소적 교란을 적용함으로써 시점을 유지하면서 음성 클립을 생성한다.
• 양성 및 음성 클립을 사용하여 잠재 공간에서 원본 클립에 대해 양성 클립은 더 가까이, 음성 클립은 더 멀리 있도록 하는 메트릭 학습 목적함수를 정의한다.
• 공간적 국소적 교란은 공간적 특징을 국소적으로 훼손하여 운동 패턴을 파괴하면서도 시점 콘텐츠를 유지하며, 시간적 국소적 교란은 시간적 일관성을 손상시키지만 공간 콘텐츠는 그대로 유지한다.
• 모멘텀 에너드를 사용한 대비 학습을 통해 표현을 최적화하여 사전학습 중 안정적인 특징 학습을 보장한다.
• 이 방법은 다양한 백본과 사전학습 데이터셋과 호환되며, 검색 및 탐지와 같은 후속 작업으로도 확장 가능하다.

실험 결과

연구 질문

• RQ1 시점과 운동 정보를 명시적으로 분리함으로써 자기지도 학습 비디오 표현 학습을 향상시킬 수 있는가?
• RQ2 시점 편향을 줄이면 비디오 이해에서 더 나은 일반화와 향상된 시간 모델링이 달성되는가?
• RQ3 공간적 및 시간적 국소적 교란과 같은 간단한 데이터 증강 기법이 모델이 정적 배경이 아닌 운동에 집중하도록 효과적으로 이끌 수 있는가?
• RQ4 제안된 방법이 SOTA 자기지도 학습 방법에 비해 행동 인식 벤치마크 성능을 얼마나 향상시키는가?

주요 결과

• 제안된 DSM 방법은 동일한 I3D 백본을 사용할 때 SOTA 자기지도 학습 방법 대비 UCF101에서 8.1%의 절대 정확도 향상과 HMDB51에서 8.8% 향상된 성능을 달성한다.
• 평균적으로 운동에 크게 의존하는 행동 카테고리의 특징 표현이 향상되었으며, 특히 이전에는 간과되었지만 운동이 핵심적인 카테고리에서 뚜렷한 성능 향상이 관찰되었다.
• 시각화 결과 DSM 모델이 정적 배경이 아닌 움직이는 객체에 주로 집중하는 것으로 나타나, 시점 편향이 감소하고 공간-시간 주의 집중이 향상됨을 확인했다.
• 강한 운동이 포함된 클립에는 높은 반응을 보이고, 약한 또는 운동이 없는 클립에는 낮은 반응을 보이며, 이는 향상된 시간 감도를 확인한다.
• 대역어 예제 분석 결과, 정적 인간 몸체나 프레임을 노이즈로 삽입하더라도 DSM 모델이 여전히 운동 영역에 집중함을 확인하여 간섭 요소에 대해 강건함을 입증한다.
• 제거 분석 결과, 공간 왜곡과 운동 교란을 병합한 조합이 가장 높은 성능을 보였으며, UCF101에서 12.5%, HMDB51에서 16.0% 향상된 성능을 기록했다.