[논문 리뷰] Self-supervised Motion Learning from Static Images

Ziyuan Huang, Shiwei Zhang외 4명|arXiv (Cornell University)|2021. 04. 01.

Human Pose and Action Recognition참고 문헌 58인용 수 7

한 줄 요약

이 논문은 정적 이미지에서 가상의 운동을 방향성과 속도 변화를 통해 생성함으로써 비디오 모델이 직접적으로 운동 표현을 학습할 수 있도록 하는 자기지도 학습 프레임워크 MoSI를 제안한다. 정적 마스크를 도입하여 국소적인 운동 패턴을 비일관성 있게 만들면서, MoSI는 모델이 두드러진 운동 영역에 주의를 기울이도록 유도하여, 미세조정 없이도 UCF101 및 HMDB51와 같은 행동 인식 벤치마크에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Motions are reflected in videos as the movement of pixels, and actions are essentially patterns of inconsistent motions between the foreground and the background. To well distinguish the actions, especially those with complicated spatio-temporal interactions, correctly locating the prominent motion areas is of crucial importance. However, most motion information in existing videos are difficult to label and training a model with good motion representations with supervision will thus require a large amount of human labour for annotation. In this paper, we address this problem by self-supervised learning. Specifically, we propose to learn Motion from Static Images (MoSI). The model learns to encode motion information by classifying pseudo motions generated by MoSI. We furthermore introduce a static mask in pseudo motions to create local motion patterns, which forces the model to additionally locate notable motion areas for the correct classification.We demonstrate that MoSI can discover regions with large motion even without fine-tuning on the downstream datasets. As a result, the learned motion representations boost the performance of tasks requiring understanding of complex scenes and motions, i.e., action recognition. Extensive experiments show the consistent and transferable improvements achieved by MoSI. Codes will be soon released.

연구 동기 및 목표

• 운동 인식 모델을 훈련하기 위한 레이블이 부족한 비디오 데이터 문제를 해결하기 위해.
• 실제 비디오 애너테이션에 의존하지 않고도 운동 표현을 자기지도 학습으로 학습할 수 있도록 하기 위해.
• 가상의 운동 생성을 통해 두드러진 운동 영역을 국소화할 수 있도록 학습함으로써 행동 인식 성능을 향상시키기 위해.
• ImageNet과 같은 정적 이미지 데이터셋이 후속 행동 이해 작업을 위한 비디오 모델의 사전 훈련에 효과적으로 활용될 수 있음을 보여주기 위해.

제안 방법

• 사전 정의된 방향성과 속도로 정적 이미지에 인위적 운동을 적용하여 가상의 운동을 생성한다.
• 이러한 가상의 운동의 방향성과 속도를 분류하도록 비디오 모델을 훈련시킴으로써 운동 패턴을 인코딩한다.
• 가상의 운동 시퀀스에 정적 마스크를 도입하여 마스크된 영역과 마스크되지 않은 영역 간의 운동이 비일관성이 있도록 한다.
• 마스크된 가상의 운동을 사용하여 모델이 국소적인 운동 영역에 주의를 기울이도록 유도함으로써, 암묵적으로 공간적 주의 메커니즘을 학습한다.
• 표준 비디오 아키텍처(예: R-2D3D, R(2+1)D)를 백본으로 사용하며, ImageNet을 사용해 MoSI로 사전 훈련한다.
• 정확도 향상을 위해 사전 훈련 중에 무작위 색상 왜곡 및 공간 크롭과 같은 데이터 증강 기법을 적용한다.

실험 결과

연구 질문

• RQ1 자기지도 학습을 통해 정적 이미지에서 효과적으로 운동 표현을 학습할 수 있는가?
• RQ2 가상의 운동에 정적 마스크를 도입하면 모델이 두드러진 운동 영역을 국소화하는 데 능력이 향상되는가?
• RQ3 ImageNet에서 MoSI 사전 훈련을 통해 미세조정 없이도 후속 행동 인식 작업에서 경쟁적인 성능을 달성할 수 있는가?
• RQ4 MoSI는 비디오 기반 자기지도 학습 방법과 비교할 때 운동 표현 품질과 전이 성능 측면에서 어떻게 다른가?
• RQ5 MoSI는 대규모 비디오 애너테이션에 대한 의존도를 얼마나 줄일 수 있는가?

주요 결과

• MoSI는 R(2+1)D 백본을 사용하여 HMDB51에서 51.8%의 top-1 정확도를 달성하여 최신 기술 수준의 성능을 보였다.
• UCF101에서 동일한 R(2+1)D 백본을 사용하여 MoSI는 82.8%의 top-1 정확도를 기록하여 뛰어난 전이 성능를 입증했다.
• Grad-CAM 시각화 결과에 따르면, 미세조정 없이도 모델이 두드러진 운동 영역을 국소화하고 있음을 확인할 수 있었다.
• ImageNet에서 클래스당 30장의 이미지만 사용해 MoSI 사전 훈련을 수행한 결과, HMDB51에서 47.6%의 정확도를 기록하여 낮은 데이터 양에서도 효과적임을 입증했다.
• 마스크된 MoSI 버전은 정사각형 형태의 운동 영역에 대한 편향을 줄이며, 비마스크된 MoSI 대비 국소 운동 패턴에 대한 주의를 크게 향상시켰다.
• 더 얕고 작은 백본을 사용함에도 불구하고 MoSI는 DPC 및 MemDPC를 초월하여 HMDB51에서 더 높은 성능을 기록하여 뛰어난 표현 학습 능력을 보였다.