[논문 리뷰] Spatiotemporal Pyramid Network for Video Action Recognition

Yunbo Wang, Mingsheng Long외 2명|arXiv (Cornell University)|2019. 03. 04.

Human Pose and Action Recognition참고 문헌 37인용 수 4

한 줄 요약

이 논문은 공간적 및 시간적 특징을 계층적으로 융합하기 위해 압축 이중선형 융합과 시공간 주의 메커니즘을 사용하는 시공간 피라미드 네트워크를 제안하며, 영상 행동 인식 성능을 크게 향상시킨다. 이 방법은 통합 손실 함수를 통해 다중 추상화 수준에서 특징을 공동 최적화함으로써 UCF101(94.6%)과 HMDB51에서 최신 기준 성능(SOTA)을 달성한다.

ABSTRACT

Two-stream convolutional networks have shown strong performance in video action recognition tasks. The key idea is to learn spatiotemporal features by fusing convolutional networks spatially and temporally. However, it remains unclear how to model the correlations between the spatial and temporal structures at multiple abstraction levels. First, the spatial stream tends to fail if two videos share similar backgrounds. Second, the temporal stream may be fooled if two actions resemble in short snippets, though appear to be distinct in the long term. We propose a novel spatiotemporal pyramid network to fuse the spatial and temporal features in a pyramid structure such that they can reinforce each other. From the architecture perspective, our network constitutes hierarchical fusion strategies which can be trained as a whole using a unified spatiotemporal loss. A series of ablation experiments support the importance of each fusion strategy. From the technical perspective, we introduce the spatiotemporal compact bilinear operator into video analysis tasks. This operator enables efficient training of bilinear fusion operations which can capture full interactions between the spatial and temporal features. Our final network achieves state-of-the-art results on standard video datasets.

연구 동기 및 목표

• 배경 유사성 또는 단기 운동 모호성으로 인해 이중 스트림 네트워크에서 공간 또는 시간 스트림이 실패하는 문제를 해결하기 위해.
• 다중 추상화 수준에서 계층적 융합을 통해 공간적 및 시간적 특징 간 상호 강화를 가능하게 하기 위해.
• 과도한 파rameter 없이 공간적 및 시간적 특징 간 전체 상호작용을 포괄적으로 포착할 수 있는 효율적인 융합 기법 개발을 위해.
• 장기적인 시간적 맥락과 운동 유도 공간 주의를 활용하여 일반화 능력과 분류 능력을 향상시키기 위해.

제안 방법

• 네트워크는 세 가지 융합 수준을 갖는 피라미드 아키텍처를 사용한다: 공간적 및 시간적 특징의 조기 융합, 시공간 주의를 활용한 중간 융합, 그리고 압축 이중선형 풀링을 통한 후기 융합.
• 시공간 주의는 시간적 특징을 가이드로 삼아 공간적 특징에 적용되어 운동 관련 영역을 강조하고 배경 정보에 대한 의존도를 감소시킨다.
• 압축 이중선형 풀링은 공간적 및 시간적 특징 맵 간 전체 요소 간 상호작용을 모델링하며, 표준 이중선형 융합 대비 파rameter를 극적으로 감소시킨다.
• 다중 경로 시간 하위네트워크는 장기간의 영상 시퀀스에서 옵티컬 플로를 샘플링하여 장거리 운동 특징을 추출함으로써 유사한 동작을 더 잘 구분할 수 있도록 한다.
• 전체 네트워크는 통합된 시공간 손실 함수를 사용해 엔드 투 엔드로 훈련되며, 모든 융합 구성 요소를 공동으로 최적화한다.
• 압축 이중선형 연산자는 효율적인 훈련을 가능하게 하며, 공간적 및 시간적 표현 간의 복잡한 다중 모odal 상관관계를 포착한다.

실험 결과

연구 질문

• RQ1 간단한 후기 또는 조기 융합을 넘어서 계층적 융합이 영상 행동 인식 성능 향상에 기여할 수 있는가?
• RQ2 운동 정보가 공간적 특징 선택을 어떻게 유도하여 배경 유사성으로 인한 오분류를 줄일 수 있는가?
• RQ3 장기적인 시간 모델링은 짧은 클립에서 유사해 보이지만 시간에 따라 다름을 보이는 동작을 구분할 수 있는가?
• RQ4 압축 이중선형 융합이 요소별 합이나 연결보다 시공간 상호작용을 더 잘 포착할 수 있는가?
• RQ5 주의 메커니즘과 다중 척도 시간 모델링이 영상 인식에서 특징의 분류 능력을 얼마나 향상시킬 수 있는가?

주요 결과

• 제안된 시공간 피라미드 네트워크는 UCF101에서 94.6%의 top-1 정확도를 달성하여 이전 최신 기준 성능(94.0%)을 초월하고 원래의 이중 스트림 융합(92.5%)보다도 뛰어나다.
• HMDB51에서는 최신 기준 성능을 달성하여 다양한 영상 행동 카테고리에 걸쳐 뛰어난 강건성을 보여준다.
• 시공간 주의 모듈은 배경 특징에 대한 의존도를 줄이며, FrontCrawl와 BreastStroke와 같은 동작을 운동 관련 영역에 집중시켜 오분류를 해소하는 데 성공했다.
• 다중 경로 시간 융합은 Pull-ups와 RopeClimbing와 같이 짧은 클립에서는 시각적으로 유사하지만 장기적인 운동 패턴에서 다름을 보이는 동작을 구분할 수 있도록 했다.
• t-SNE 시각화 결과는 최종 피라미드 아키텍처가 개별 스트림이나 기준 융합 대비 더 분류 능력이 뛰어나고 잘 분리된 특징 표현을 생성함을 확인했다.
• 제거 실험 결과 각 구성 요소—주의, 다중 경로 시간 모델링, 압축 이중선형 융합—이 성능 향상에 기여한다는 게 입증되었다.