[논문 리뷰] Hierarchical Contrastive Motion Learning for Video Action Recognition

Xitong Yang, Xiaodong Yang외 4명|arXiv (Cornell University)|2020. 07. 20.

Human Pose and Action Recognition참고 문헌 77인용 수 12

한 줄 요약

이 논문은 옵티컬 플로우나 사전 학습 없이 대비 학습을 통해 다양한 추상 수준에서 운동 표현을 점진적으로 학습하는 자기지도 학습 프레임워크인 계층적 대비 운동 학습을 제안한다. 하위 수준에서 운동 특징가 미래 특징을 예측하도록 강제함으로써 저수준 운동과 고수준 행동 인식 간의 의미적 격차를 해소하며, 옵티컬 플로우나 지도 학습 전처리 없이도 네 가지 벤치마크에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

One central question for video action recognition is how to model motion. In this paper, we present hierarchical contrastive motion learning, a new self-supervised learning framework to extract effective motion representations from raw video frames. Our approach progressively learns a hierarchy of motion features that correspond to different abstraction levels in a network. This hierarchical design bridges the semantic gap between low-level motion cues and high-level recognition tasks, and promotes the fusion of appearance and motion information at multiple levels. At each level, an explicit motion self-supervision is provided via contrastive learning to enforce the motion features at the current level to predict the future ones at the previous level. Thus, the motion features at higher levels are trained to gradually capture semantic dynamics and evolve more discriminative for action recognition. Our motion learning module is lightweight and flexible to be embedded into various backbone networks. Extensive experiments on four benchmarks show that the proposed approach consistently achieves superior results.

연구 동기 및 목표

• 옵티컬 플로우나 지도 학습 전처리에 의존하지 않고 원시 영상 프레임에서 효과적인 운동 표현을 학습하는 데 도전한다.
• 저수준 운동 신호와 고수준 행동 인식 작업 간의 의미적 격차를 해소한다.
• 계층적 대비 학습 프레임워크를 통해 외관 및 운동 특징의 다중 수준 융합을 가능하게 한다.
• 다양한 백본 네트워크에 쉽게 통합할 수 있는 경량이며 유연한 모듈을 개발한다.

제안 방법

• 프레임워크는 여러 특징 추상 수준에서 하향식으로 운동 표현을 학습하는 부가적인 네트워크 브랜치를 사용한다.
• 각 수준에서 대비 손실이 적용되어 운동 특징가 이전 수준의 미래 특징을 예측하도록 강제되며, 명시적인 자기지도 학습을 제공한다.
• 양성 쌍은 예측된 특징와 진짜 특징의 동일한 공간-시간 위치로 정의된다. 음성 쌍은 다른 영상에서 유도된 공간적, 시간적, 그리고 쉬운 음성 예측을 포함한다.
• 초기 운동 학습은 보조 자기지도 학습 과제인 영상 프레임 재구성에 의해 초기 운동 신호를 제공한다.
• 운동 특징는 잔차 연결을 통해 백본에 통합되어 외관과 운동 특징의 다중 수준 융합을 가능하게 한다.
• 학습 후에는 운동 학습 모듈이 제거되며, 주 네트워크에는 단지 향상된 운동 특징만 남는다.

실험 결과

연구 질문

• RQ1 옵티컬 플로우나 지도 학습 전처리 없이 자기지도 학습 프레임워크가 분류 가능한 운동 표현을 학습할 수 있는가?
• RQ2 계층적 대비 학습은 저수준 운동과 고수준 행동 인식 간의 정렬을 어떻게 향상시키는가?
• RQ3 외관과 운동 특징의 다중 수준 융합이 비디오 행동 인식 성능에 어떤 영향을 미치는가?
• RQ4 픽셀 수준 또는 단기 운동 감시와 비교해 볼 때, 다양한 추상 수준에서의 대비 학습은 어떤가?
• RQ5 제안된 방법은 작업에 특화된 미세 조정 없이 다양한 비디오 벤치마크에서 일반화 가능한가?

주요 결과

• 제안된 방법은 옵티컬 플로우나 지도 학습 전처리 없이 Kinetics-400, Something-Something V1/V2, UCF-101에서 최신 기술 수준의 성능을 달성한다.
• R2D-50를 사용한 Kinetics-400에서, 이 방법은 85.1%의 top-1 정확도를 기록하여 이전의 자기지도 학습 방법보다 뚜렷한 성능 향상을 보였다.
• Something-Something V2에서, 이 방법은 89.7%의 top-1 정확도를 기록하여 미세한 시간적 모델링 능력을 입증했다.
• 제거 분석 결과, 다중 수준 융합과 함께 계층적 대비 학습이 단일 수준 또는 비대비 기반 베이스라인보다 성능 향상에 크게 기여하는 것으로 확인되었다.
• 이 방법은 높은 전이 성능를 보였으며, Kinetics-400 사전 학습에서 미세 조정한 경우 UCF-101에서 93.4%의 정확도를 기록하여 기존의 비지도 사전 학습 방법을 능가했다.