[논문 리뷰] MotionSqueeze: Neural Motion Feature Learning for Video Understanding

Heeseung Kwon, Manjin Kim외 2명|arXiv (Cornell University)|2020. 07. 20.

Human Pose and Action Recognition참고 문헌 32인용 수 5

한 줄 요약

이 논문은 외부 광류 계산에 의존하지 않고 영상 프레임에서 직접 운동 특징을 학습하는 경량이며 엔드 투 엔드로 훈련 가능한 신경 모듈인 MotionSqueeze(MS)를 제안한다. 교차 프레임 대응관계를 학습하고 내부적으로 운동 특징을 생성함으로써, MS는 최소한의 계산 부담으로 Something-Something-V1&V2에서 행동 인식 정확도를 향상시켜, 사전 계산된 광류를 사용하는 이중 스트림 네트워크를 포함한 최신 기법들을 능가한다.

ABSTRACT

Motion plays a crucial role in understanding videos and most state-of-the-art neural models for video classification incorporate motion information typically using optical flows extracted by a separate off-the-shelf method. As the frame-by-frame optical flows require heavy computation, incorporating motion information has remained a major computational bottleneck for video understanding. In this work, we replace external and heavy computation of optical flows with internal and light-weight learning of motion features. We propose a trainable neural module, dubbed MotionSqueeze, for effective motion feature extraction. Inserted in the middle of any neural network, it learns to establish correspondences across frames and convert them into motion features, which are readily fed to the next downstream layer for better prediction. We demonstrate that the proposed method provides a significant gain on four standard benchmarks for action recognition with only a small amount of additional cost, outperforming the state of the art on Something-Something-V1&V2 datasets.

연구 동기 및 목표

• 영상 이해 모델에서 외부 광류 계산의 계산 병목 현상을 해결하기 위해.
• 영상 프레임에서 내부적으로 운동 특징을 학습하는 경량이며 훈련 가능한 모듈을 개발하기 위해.
• 모델 크기나 추론 비용을 크게 증가시키지 않고도 행동 인식 성능을 향상시키기 위해.
• 플러그 앤 플레이 방식으로 기존 영상 분류 아키텍처에 효율적으로 통합할 수 있도록 하기 위해.
• 내부에서 운동 특징을 학습하는 것이 외부 광류 기반 방법과 동등하거나 이를 초월할 수 있음을 입증하기 위해.

제안 방법

• MotionSqueeze(MS) 모듈은 신경망의 중간에 삽입되어 인접한 영상 프레임에서 운동 특징을 학습한다.
• 학습 가능한 어텐션 메커니즘을 사용해 인접 프레임 간의 특징 유사도를 계산함으로써 교차 프레임 대응관계를 수립한다.
• 이 대응관계는 미분 가능 변환을 통해 압축된 운동 특징으로 변환되며, 이후 하류 레이어에 입력된다.
• 모듈 전체는 backpropagation를 통해 엔드 투 엔드로 훈련 가능하므로 사전 계산된 광류가 필요 없다.
• MS 모듈은 표준 2D 또는 3D CNN과 결합된 새로운 아키텍처인 MSNet에 통합된다.
• MS 모듈은 명시적인 유량 추정을 피하는 공간 유사도 기반 접근법을 사용하여 계산 비용을 감소시킨다.

실험 결과

연구 질문

• RQ1 학습 가능한 내부 모듈이 영상 행동 인식에서 외부 광류 계산을 효과적으로 대체할 수 있는가?
• RQ2 운동 특징의 엔드 투 엔드 학습이 사전 계산된 광류를 사용하는 것보다 더 나은 성능을 내는가?
• RQ3 제안된 모듈이 모델 크기나 FLOPs를 크게 증가시키지 않고 기존 영상 네트워크에 효율적으로 통합될 수 있는가?
• RQ4 MS 모듈의 성능는 광류 기반의 최신 이중 스트림 네트워크와 비교해 어떻게 되는가?
• RQ5 MS 모듈이 학습한 운동 특징은 3D 컨벌루션에서 유도된 공간-시간 특징과 얼마나 잘 보완되는가?

주요 결과

• Something-Something-V1에서 MS 모듈은 ResNet-18 정확도를 21.3% 향상시키고, MobileNet-V2는 19.2% 향상시켜 2D CNN에서 뚜렷한 성능 향상을 보였다.
• I3D와 TSM-ResNet-18에서 MS 모듈은 각각 top-1 정확도를 2.4%와 4.0% 향상시켜 기존의 공간-시간 특징과의 보완성을 입증했다.
• MSNet은 약 절반의 FLOPs를 사용하면서도 이중 스트림 8+(8×5) 네트워크보다 top-1 정확도에서 0.8% 높은 성능을 기록했다.
• 저프레임 레이트 광류를 사용할 경우, MSNet과 이중 스트림 네트워크 간의 성능 격차는 1.4% 포인트로 확대되어, 낮은 품질의 입력에 대해 더 뛰어난 강건성을 보임을 시사했다.
• 시각화 결과는 MS 모듈이 직접적인 감독 없이도 이동, 회전, 변형과 같은 신뢰할 수 있는 운동 패턴을 학습하고 있음을 확인했다.
• 계산 비용을 거의 증가시키지 않으면서도 Something-Something-V1 및 V2에서 최신 기법을 능가하는 성능을 달성했다.