[논문 리뷰] TEAM-Net: Multi-modal Learning for Video Action Recognition with Partial Decoding

Zhengwei Wang, Qi She외 1명|arXiv (Cornell University)|2021. 10. 17.

Human Pose and Action Recognition참고 문헌 27인용 수 4

한 줄 요약

TEAM-Net는 부분적으로 디코딩된 비디오를 활용하여 I-프레임, 운동 벡터(MV), 그리고 Group of Pictures(GOP)의 잔차를 활용하는 플러그 앤 플레이 다중모달 학습 모듈(TEAM)을 제안한다. 순차적인 채널 및 공간 융합을 통해 이러한 모달리티를 종단 간 융합함으로써, UCF-101과 HMDB-51에서 최신 기술 수준(SOTA) 성능을 달성하며, RGB 전용 기준 모델 및 이전의 압축 도메인 기반 방법을 능가한다.

ABSTRACT

Most of existing video action recognition models ingest raw RGB frames. However, the raw video stream requires enormous storage and contains significant temporal redundancy. Video compression (e.g., H.264, MPEG-4) reduces superfluous information by representing the raw video stream using the concept of Group of Pictures (GOP). Each GOP is composed of the first I-frame (aka RGB image) followed by a number of P-frames, represented by motion vectors and residuals, which can be regarded and used as pre-extracted features. In this work, we 1) introduce sampling the input for the network from partially decoded videos based on the GOP-level, and 2) propose a plug-and-play mulTi-modal lEArning Module (TEAM) for training the network using information from I-frames and P-frames in an end-to-end manner. We demonstrate the superior performance of TEAM-Net compared to the baseline using RGB only. TEAM-Net also achieves the state-of-the-art performance in the area of video action recognition with partial decoding. Code is provided at https://github.com/villawang/TEAM-Net.

연구 동기 및 목표

• 원시 비디오 데이터의 높은 저장 요구량과 중복을 줄이기 위해 압축 도메인에서 부분적으로 디코딩된 비디오 스트림을 활용하는 것.
• 통합된 프레임워크 내에서 외관(I-프레임), 운동(MV), 잔차 텍스처의 세 가지 모달리티를 효과적으로 융합하여 비디오 행동 인식 성능을 향상시키는 것.
• 이전 방법들이 별도의 백본을 훈련하고 추론 단계에서만 융합하는 데서 비롯되는 한계를 극복하기 위해 중위 융합을 가능하게 하는 종단 간 훈련을 제공하는 것.
• 부분적으로 압축된 도메인에서 효율적이고 효과적인 다중모달 학습을 가능하게 하는 플러그 앤 플레이 모듈(TEAM)을 제안하는 것.

제안 방법

• GOP 수준에서 입력을 샘플링하여, 전체 RGB 디코딩 대신 각 GOP의 첫 번째 I-프레임과 하나의 P-프레임(MV 및 잔차 포함)을 사용한다.
• 채널 병합을 통해 전반적인 모달리티 중요도를 캡처하고, 이후 공간 병합을 통해 관련 영역을 국소화하는 순차적 융합을 수행하는 다중모달 학습 모듈(TEAM)을 도입한다.
• TEAM의 다섯 가지 구성(configurations)을 설계하였으며, 가장 뛰어난 성능을 보인 변형은 채널 병합 후 공간 병합을 수행하는 것(TeAM_{c→s})이다.
• TSN 백본의 여러 단계(Convl 이후, Res2, Res3, Res4 이후)에 TEAM 모듈을 통합하여 중위 융합을 가능하게 하고, 후기 단계 융합으로 인한 성능 저하를 방지한다.
• 각 모달리티를 별도로 처리한 후 융합하는 이중 브랜치 특징 집합 전략을 설계하여 모달리티 특화 표현을 유지한다.
• 개별 모달리티에 대한 별도 훈련 없이, 교차 엔트로피 손실을 사용하여 전체 네트워크를 종단 간 훈련한다.

실험 결과

연구 질문

• RQ1 부분적으로 디코딩된 비디오에서 I-프레임, 운동 벡터, 잔차를 활용한 다중모달 학습이 RGB 전용 기준 모델에 비해 비디오 행동 인식 성능을 향상시키는가?
• RQ2 부분적으로 압축된 도메인에서 중위 융합을 통한 종단 간 훈련이 후기 융합 또는 별도의 백본 훈련보다 성능이 뛰어나게 되는가?
• RQ3 비디오 행동 인식에서 다중모달 특징 통합을 위한 채널 병합과 공간 병합 간 최적의 융합 순서는 무엇인가?
• RQ4 네트워크 내에서 임베딩 위치(스테이지)의 선택이 TEAM 모듈의 성능에 어떤 영향을 미치는가?
• RQ5 아키텍처 재설계 없이도 플러그 앤 플레이 모듈이 효과적으로 여러 모달리티를 통합할 수 있는가?

주요 결과

• TEAM-Net는 8프레임 입력을 사용하여 UCF-101에서 평균 정확도 94.3%, HMDB-51에서 73.8%를 달성하며, RGB 전용 TSN 기준 모델을 능가한다.
• 순차적 융합 전략(TeAM_{c→s})이 가장 뛰어난 성능을 보였으며, UCF-101에서 병렬 구성보다 0.6%p의 절대적 성능 향상을 기록했다.
• 중위 단계(Convl, Res2, Res3, Res4 이후)에서 융합하는 것이 후기 단계 융합보다 뛰어난 성능을 내며, 저해상도로 인한 정확도 저하를 방지한다.
• 클래스별 주의 시각화를 통해 TEAM 모듈이 '무엇'(채널 병합을 통해)과 '어디서'(공간 병합을 통해)를 효과적으로 포착하고 있음을 확인했다.
• 부분적으로 압축된 도메인에서 최신 기술 수준 성능을 달성하였으며, 별도의 백본 또는 후기 융합을 사용한 이전 연구를 뛰어넘었다.
• 제거 실험을 통해 채널 병합과 공간 병합이 모두 필요하다는 점을 확인하였으며, 단일 모달리티 병합(채널 전용 또는 공간 전용)은 전체 TEAM 모듈에 비해 성능이 열 劣하다.