[논문 리뷰] Residual Frames with Efficient Pseudo-3D CNN for Human Action Recognition

Jiawei Chen, Jenson Hsiao외 1명|arXiv (Cornell University)|2020. 08. 03.

Human Pose and Action Recognition참고 문헌 12인용 수 4

한 줄 요약

이 논문은 잔차 프레임—연속된 RGB 프레임 간의 차이—을 활용하여 최소한의 계산 비용으로 주목할 만한 운동 특징을 캡처하는 가벼운 효율적인 프레임워크를 제안한다. 이는 3D 컨볼루션을 2D 및 1D 연산으로 분리하는 새로운 허구의 3D 컨볼루션 모듈을 도입하며, 특징 공간 잔차와 자기 주의 메커니즘을 통합하여 UCF101에서 83%의 상위 1 정확도를 달성하면서도 FLOPs를 163G에서 30G로 감소시켜 최신 기술 수준의 정확도를 달성한다.

ABSTRACT

Human action recognition is regarded as a key cornerstone in domains such as surveillance or video understanding. Despite recent progress in the development of end-to-end solutions for video-based action recognition, achieving state-of-the-art performance still requires using auxiliary hand-crafted motion representations, e.g., optical flow, which are usually computationally demanding. In this work, we propose to use residual frames (i.e., differences between adjacent RGB frames) as an alternative "lightweight" motion representation, which carries salient motion information and is computationally efficient. In addition, we develop a new pseudo-3D convolution module which decouples 3D convolution into 2D and 1D convolution. The proposed module exploits residual information in the feature space to better structure motions, and is equipped with a self-attention mechanism that assists to recalibrate the appearance and motion features. Empirical results confirm the efficiency and effectiveness of residual frames as well as the proposed pseudo-3D convolution module.

연구 동기 및 목표

• 광학 흐름과 같은 비용이 많이 드는 수동으로 제작된 운동 특징에 의존하지 않고도 계산 비용이 적은 운동 표현 방식을 사용하여 인간 행동 인식 성능을 향상시키는 것.
• 비용이 많이 드는 수동으로 제작된 운동 특징에 의존하지 않고 영상 데이터의 시간적 동적 특징을 모델링하는 과제를 해결하는 것.
• 운동 및 외관 특징 학습을 향상시키는 경량이며 파rameter 효율적인 3D 컨볼루션 모듈을 개발하는 것.
• 잔차 프레임이 RGB 입력과의 보완적 모odal로 행동 인식에 효과적인가를 검증하는 것.
• 특징 공간 잔차와 자기 주의 메커니즘이 인식 성능을 크게 향상시킬 수 있음을 보여주는 것.

제안 방법

• 배경 및 외관 노이즈를 최소화하면서 운동 특징을 추출하기 위해, 연속된 RGB 프레임 간의 절대 차이로 잔차 프레임을 계산한다. 즉, $ x^{res}_{(t_1,s)} = |x_{t_1+s} - x_{t_1}| $.
• 표준 3D 컨볼루션을 2D 공간 및 1D 시간적 컨볼루션의 병렬 연산으로 분리하여 계산 비용과 모델 크기를 줄이는 새로운 허구의 3D 컨볼루션 모듈을 도입한다.
• 시간적으로 인접한 특징 맵에서 온 잔차를 통합하여 특징 공간에서의 운동 표현 학습을 향상시킨다.
• 행동 인식 작업에 대한 관련성에 따라 외관 및 운동 특징의 중요도를 재조정하기 위해 자기 주의 메커니즘을 도입한다.
• 모델은 RGB 및 잔차 프레임 입력을 모두 사용하여 엔드 투 엔드로 훈련되며, 구성 요소 기여도를 검증하기 위해 분석 실험을 실시한다.
• 모달리티 융합 및 구성 요소의 효과성을 평가하기 위해 UCF101에서 상위 1 및 상위 5 정확도, FLOPs, 분석 실험을 통해 프레임워크를 평가한다.

실험 결과

연구 질문

• RQ1 프레임 간 차이로 계산된 잔차 프레임이 인간 행동 인식에 있어 광학 흐름의 효과적이고 효율적인 대체 수 Mittel이 될 수 있는가?
• RQ2 잔차 프레임 계산에서 다양한 스텝 사이즈에 따라 행동 인식 성능는 어떻게 변화하는가?
• RQ3 제안된 허구의 3D 컨볼루션 모듈이 계산 비용을 줄이면서도 정확도를 얼마나 향상시키는가?
• RQ4 자기 주의 메커니즘과 특징 공간 잔차가 제안된 모듈에서 각각 어떤 기여를 하는가?
• RQ5 RGB와 잔차 프레임 입력을 융합하면 단독으로 하나의 모달리티를 사용하는 것보다 성능이 향상되는가?

주요 결과

• 스텝 사이즈 $ s=1 $로 잔차 프레임만을 사용할 경우 UCF101에서 상위 1 정확도 83.0%를 달성하여 RGB 전용 모델보다 2.6% 포인트 높은 성능을 보였다.
• RGB와 잔차 프레임을 융합(스텝 사이즈 $ s=1 $)하면 상위 1 정확도가 85.6%로 상승하여 두 모달리티 간의 보완적 정보를 확인할 수 있었다.
• 제안된 허구의 3D 모듈은 표준 3D 컨볼루션 대비 FLOPs를 163G에서 30G로 감소시키며 성능 향상을 확인하여 효율성과 효과성을 입증했다.
• 분석 실험 결과, 자기 주의 메커니즘을 제거하면 상위 1 정확도가 1.8% 감소(83.8%로), 특징 공간 잔차를 제거하면 2.1% 감소(83.5%로)하는 것으로 나타났다.
• 스텝 사이즈가 커질수록 성능 저하가 발생: 상위 1 정확도는 $ s=1 $일 때 83.0%에서 $ s=4 $일 때 80.2%로 감소하여 작은 시간적 스텝이 운동의 정밀도를 더 잘 유지함을 시사했다.
• 자기 주의 메커니즘과 특징 공간 잔차를 모두 포함한 전체 모델은 상위 1 정확도 85.6%를 달성하여 두 구성 요소의 상호보완적 이점을 확인했다.