[논문 리뷰] Video Classification with FineCoarse Networks.

Guoxi Huang, Adrian G. Borş|arXiv (Cornell University)|2021. 03. 29.

Human Pose and Action Recognition참고 문헌 56인용 수 6

한 줄 요약

이 논문은 운동 밴드패스 모듈(MBPM)을 사용하여 원본 RGB 프레임에서 미세한 운동 세부 정보를 거시적 비디오 콘텐츠로부터 분리함으로써, 저해상도 특징 경로를 통해 효율적인 처리를 가능하게 하는 FineCoarse 네트워크를 제안한다. 이 방법은 Something-Something V1에서 최신 기준 57.0%의 top-1 정확도를 달성하며, Kinetics400, UCF101, HMDB51에서 최근 모델들을 능가한다.

ABSTRACT

A rich representation of the information in video data can be realized by means of frequency analysis. Fine motion details from the boundaries of moving regions are characterized by high frequencies in the spatio-temporal domain. Meanwhile, lower frequencies are encoded with coarse information containing substantial redundancy, which causes low efficiency for those video models that take as input raw RGB frames. In this work, we propose a Motion Band-pass Module (MBPM) for separating the fine-grained information from coarse information in raw video data. By representing the coarse information with low resolution, we can increase the efficiency of video data processing. By embedding the MBPM into a two-pathway CNN architecture, we define a FineCoarse network. The efficiency of the FineCoarse network is determined by avoiding the redundancy in the feature space processed by the two pathways: one operates on downsampled features of low-resolution data, while the other operates on the fine-grained motion information captured by the MBPM. The proposed FineCoarse network outperforms many recent video processing models on Kinetics400, UCF101 and HMDB51. Furthermore, our approach achieves the state-of-the-art with 57.0% top-1 accuracy on Something-Something V1.

연구 동기 및 목표

• 원본 RGB 프레임에서 반복적인 거시적 정보를 처리하는 비디오 모델의 비효율성을 해결하기 위해.
• 주파수 도메인 분석을 통해 미세한 운동 세부 정보를 고립시켜 비디오 분류 정확도를 향상시키기 위해.
• 거시적 특징을 저해상도로 다운스케일링하여 계산 중복을 줄이면서도 운동 민감도가 높은 고주파 성분을 유지함으로써 처리 효율성을 향상시키기 위해.
• 미세 및 거시적 표현을 함께 처리하는 이중 경로 CNN 아키텍처를 설계하여 성능 향상을 위해.
• Something-Something V1를 포함한 여러 벤치마크 비디오 데이터셋에서 최신 기준 성능을 달성하기 위해.

제안 방법

• 운동 밴드패스 모듈(MBPM)은 원본 비디오 프레임에서 미세한 운동 세부 정보를 나타내는 고주파 성분을 고립한다.
• 거시적 정보는 계산 중복을 줄이기 위해 저해상도로 다운샘플된 특징을 통해 표현된다.
• 이중 경로 CNN 아키텍처는 미세한 운동 특징과 거시적 특징을 병렬로 처리한다.
• 미세 경로는 MBPM에 의해 추출된 고주파 성분을 처리하는 반면, 거시 경로는 다운샘플된 저해상도 입력을 사용한다.
• 경로 처리 후 특징 융합을 수행하여 최종 분류를 위한 상호보완적 정보를 결합한다.
• 표준 최적화 프rotocol을 사용하여 표준 비디오 벤치마크에서 네트워크를 엔드 투 엔드로 훈련시킨다.

실험 결과

연구 질문

• RQ1 원본 비디오 콘텐츠에서 미세한 운동 세부 정보를 거시적 콘텐츠로부터 분리하면 비디오 분류의 효율성과 정확도가 향상되는가?
• RQ2 거시적 특징의 저해상도 표현 방식이 비디오 특징 공간의 중복을 얼마나 줄이는가?
• RQ3 표준 컨볼루션 연산에 비해 MBPM이 운동 민감도를 얼마나 향상시키는가?
• RQ4 미세 및 거시적 특징을 별도로 처리하는 이중 경로 설계가 표준 벤치마크에서 성능 향상을 이끌어내는가?
• RQ5 이러한 접근 방식은 Something-Something V1와 같은 도전적인 비디오 데이터셋에서 최신 기준 성능을 달성할 수 있는가?

주요 결과

• FineCoarse 네트워크는 Something-Something V1에서 57.0%의 top-1 정확도를 달성하여 새로운 최신 기준을 수립했다.
• 모델은 Kinetics400, UCF101, HMDB51에서 다수의 최근 비디오 분류 아키텍처를 능가한다.
• MBPM는 고주파 운동 세부 정보를 효과적으로 고립하여 미세한 운동 패턴에 대한 민감도를 향상시켰다.
• 거시적 특징을 다운샘플링함으로써 계산 중복을 크게 줄였지만 정확도 손실 없이 수행되었다.
• 이중 경로 설계는 미세 및 거시적 특징 학습을 분리함으로써 효율적인 처리를 가능하게 했다.
• 이 방법은 다양한 비디오 동작 인식 벤치마크에서 강력한 일반화 능력을 보였다.