[논문 리뷰] Collaborative Spatio-temporal Feature Learning for Video Action Recognition

Chao Li, Qiaoyong Zhong외 2명|arXiv (Cornell University)|2019. 03. 04.

Human Pose and Action Recognition참고 문헌 33인용 수 31

한 줄 요약

이 논문은 볼륨 영상 데이터의 세 가지 수직 시야(H×W, T×H, T×W)에 공유된 2D 컨볼루션을 적용하여 공간적 및 시간적 특징을 동시에 학습하는 새로운 신경 연산인 협업형 시공간(CoST)을 제안한다. 유연한 가중치를 통해 상호보완적인 특징을 융합함으로써 CoST는 대규모 벤치마크에서 최신 기술 수준(SOTA) 성능을 달성하며, Moments in Time 챌린지 2018에서 1등을 기록했고, 공간적 특징과 시간적 특징 기여도를 해석 가능한 방식으로 분석할 수 있다.

ABSTRACT

Spatio-temporal feature learning is of central importance for action recognition in videos. Existing deep neural network models either learn spatial and temporal features independently (C2D) or jointly with unconstrained parameters (C3D). In this paper, we propose a novel neural operation which encodes spatio-temporal features collaboratively by imposing a weight-sharing constraint on the learnable parameters. In particular, we perform 2D convolution along three orthogonal views of volumetric video data,which learns spatial appearance and temporal motion cues respectively. By sharing the convolution kernels of different views, spatial and temporal features are collaboratively learned and thus benefit from each other. The complementary features are subsequently fused by a weighted summation whose coefficients are learned end-to-end. Our approach achieves state-of-the-art performance on large-scale benchmarks and won the 1st place in the Moments in Time Challenge 2018. Moreover, based on the learned coefficients of different views, we are able to quantify the contributions of spatial and temporal features. This analysis sheds light on interpretability of the model and may also guide the future design of algorithm for video recognition.

연구 동기 및 목표

• 영상 행동 인식에서 효율적이고 효과적인 동시 시공간 특징 학습의 과제를 해결하기 위해.
• 독립적인 공간적(C2D) 또는 완전히 뒤섞인 3D(C3D) 특징 학습의 한계를 극복하기 위해 협업 학습 기반 메커니즘을 도입하기 위해.
• 강력한 표현 능력을 유지하면서 모델 파라미터를 줄이고 학습 효율성을 향상시키기 위해.
• 학습된 융합 계수를 통해 공간적 및 시간적 특징의 기여도를 정량화함으로써 설명 가능성을 제공하기 위해.
• C2D와 C3D 사이의 격차를 해소하기 위해 2D 컨볼루션의 압축성과 3D 특징 학습의 표현 능력을 조합하기 위해.

제안 방법

• 3D 영상 텐서의 세 가지 수직 2D 시야를 구성한다: H×W(공간), T×H(높이 방향 시간), T×W(너비 방향 시간).
• 각 시야에 공유된 2D 컨볼루션 커널을 적용하여 공간적 외관과 시간적 운동 신호를 공동으로 학습한다.
• 세 시야에서 유래한 상호보완적 특징을 학습 가능한 채널별 가중치 합산을 통해 융합하며, 계수는 엔드 투 엔드로 훈련된다.
• C2D와 C3D의 플러그인 대체 구조로 설계되어 ResNet과 같은 기존 CNN 프레임워크에 통합 가능하다.
• 공유 커널 설계는 모델 파라미터를 감소시키고 과적합을 완화하면서도 특징 다양성을 유지한다.
• 학습된 융합 계수의 평균값을 분석함으로써 레이어 및 행동 카테고리 간의 해석 가능성을 확보한다.

실험 결과

연구 질문

• RQ1 공유된 2D 컨볼루션을 통해 여러 영상 시야에서 공간적 및 시간적 특징을 협업적으로 효과적으로 학습할 수 있는가?
• RQ2 다른 시야 간의 가중치 공유가 특징 표현을 향상시키면서 모델 복잡도를 줄이는 데 기여하는가?
• RQ3 공간적 및 시간적 특징의 기여도는 네트워크 깊이와 행동 카테고리에 따라 어떻게 변화하는가?
• RQ4 제안된 방법이 대규모 영상 행동 인식 벤치마크에서 최신 기술 수준의 성능을 달성할 수 있는가?
• RQ5 학습된 융합 계수는 외관 대비 운동의 중요도를 이해하는 데 얼마나 해석 가능한 통찰을 제공하는가?

주요 결과

• CoST는 대규모 벤치마크에서 최신 기술 수준의 성능을 달성했으며, Moments in Time 챌린지 2018에서 1등을 기록했다.
• Moments in Time 데이터셋에서 공간적 특징(H×W 시야)의 평균 기여도는 67%였고, 시간적 특징(T×H 및 T×W 시야)은 각각 14%와 19%였다.
• Kinetics 데이터셋에서는 공간적 특징 기여도가 77%였으며, 두 시간적 시야의 기여도는 각각 8%와 15%였다.
• 얕은 레이어에서 깊은 레이어로 갈수록 명확한 추세가 관찰되었는데, 공간적 특징 기여도는 감소하고 시간적 특징 기여도는 증가하여 고차원에서 시간적 추상화가 강화됨을 시사했다.
• '喷发'이나 '폭풍' 같은 동작에서는 시간적 운동 신호가 매우 구분력 있었고, 반면 '구매'나 '인터뷰' 같은 동작에서는 외관 특징이 더 중요했다.
• 결과적으로 현재의 시공간 모델은 일부 동작에 대해 운동 신호를 충분히 활용하지 못하고 있으며, 향후 설계에서는 모odal 기여도를 더 균형 있게 조정해야 할 필요가 있음을 시사한다.