[논문 리뷰] VideoLSTM Convolves, Attends and Flows for Action Recognition

Zhenyang Li, Efstratios Gavves외 2명|arXiv (Cornell University)|2016. 07. 06.

Human Pose and Action Recognition참고 문헌 28인용 수 63

한 줄 요약

VideoLSTM는 비디오 행동 인식 및 국소화를 위한 새로운 순환 아키텍처를 제안한다. 이는 공간 컨볼루션과 운동 기반 어텐션, 엔드 투 엔드 학습을 통합한다. 공간 컨볼루션과 운동 인식 어텐션을 LSTM에 하드웨어로 통합함으로써, UCF101(92.2%)과 HMDB51(72.9%)에서 최신 기술 수준의 성능을 달성하며, 경계 상자 레이블 없이도 클래스 레이블만으로 약한 감독 하에 행동 국소화를 가능하게 한다.

ABSTRACT

We present a new architecture for end-to-end sequence learning of actions in video, we call VideoLSTM. Rather than adapting the video to the peculiarities of established recurrent or convolutional architectures, we adapt the architecture to fit the requirements of the video medium. Starting from the soft-Attention LSTM, VideoLSTM makes three novel contributions. First, video has a spatial layout. To exploit the spatial correlation we hardwire convolutions in the soft-Attention LSTM architecture. Second, motion not only informs us about the action content, but also guides better the attention towards the relevant spatio-temporal locations. We introduce motion-based attention. And finally, we demonstrate how the attention from VideoLSTM can be used for action localization by relying on just the action class label. Experiments and comparisons on challenging datasets for action classification and localization support our claims.

연구 동기 및 목표

• 표준 LSTMs가 비디오를 모델링하는 데 한계를 보이는 점을 해결하기 위해, 공간 레이아웃과 운동 역학과 같은 비디오 특성에 맞게 아키텍처를 적응시키는 것.
• 비디오 시퀀스에서 외관, 운동, 시공간 국소성을 함께 모델링하여 행동 인식 성능을 향상시키는 것.
• 경계 상자 레이블 없이도 비디오 수준의 행동 클래스 레이블만으로 정확한 행동 국소화를 가능하게 하는 것.
• VideoLSTM의 어텐션 메커니즘이 약한 감독 하에 행동을 효과적으로 국소화할 수 있음을 입증하는 것.

제안 방법

• 2D 컨볼루션을 직접 LSTM 아키텍처에 통합하여 공간 상관관계를 유지하는 컨볼루션 어텐션 LSTM(Conv-ALSTM)을 도입한다.
• 어텐션 메커니즘의 표준 MLP를 광학 흐름을 사용해 운동 기반 어テン션 맵을 생성하는 얕은 컨볼루션 네트워크로 대체한다.
• 시간적 스무딩을 통해 어텐션 맵의 일관성을 향상시키고 행동 전경에 집중하도록 한다.
• 최종 LSTM 레이어의 어텐션 맵을 약한 감독 하에 행동 국소화를 위한 시각화 지도로 활용한다.
• VideoLSTM를 iDT 특징 및 기타 모델과 원소별 곱셈과 지수 가중치를 사용해 융합하여 성능을 향상시킨다.
• 경계 상자 레이블이 필요 없이 비디오 수준의 레이블만으로 엔드 투 엔드 학습을 수행한다.

실험 결과

연구 질문

• RQ1 LSTM 기반 아키텍처를 공간, 시간, 운동 특성을 함께 모델링할 수 있는 비디오에 적응시켜 행동 인식 성능를 향상시킬 수 있는가?
• RQ2 표준 어텐션 메커니즘과 비교해 운동 기반 어텐션을 통합하면 어텐션 국소화 및 행동 인식 성능가 향상되는가?
• RQ3 클래스 수준의 레이블만 존재할 때, 엔드 투 엔드 학습된 모델의 어텐션 맵이 행동을 효과적으로 국소화할 수 있는가?
• RQ4 약한 감독 설정 하에서 VideoLSTM은 최신 기술 수준의 방법들과 비교해 행동 인식 및 국소화 성능에서 뛰어난가?

주요 결과

• iDT 특징과 융합된 VideoLSTM는 UCF101에서 최신 기술 수준의 정확도 92.2%와 HMDB51에서 72.9%를 달성한다.
• 운동 기반 어텐션 메커니즘은 표준 Attention-LSTM과 비교해 국소화 성능을 크게 향상시키며, 더 높은 재현율과 행동 전경에 대한 집중도 향상된다.
• 어텐션 맵의 시간적 스무딩은 VideoLSTM에서 국소화 일관성을 향상시키며, 어텐션의 집중이 관련 시공간 영역에 집중되어 있음을 시사한다.
• 비디오 수준의 레이블만을 사용함에도 불구하고, VideoLSTM는 THUMOS13에서 경쟁적인 mAP 점수를 기록했으며, 일부 IoU 임계치에서 경계 상자 레이블을 사용해 훈련한 방법들을 초월한다.
• 비디오당 하나의 탐지만으로도 행동을 효과적으로 국소화하여 강력한 약한 감독 하에 국소화 능력을 입증한다.
• 실험 결과, 공간, 운동, 시간 특성을 함께 모델링하면 일관된 성능 향상이 이루어지며, 개별적으로 모델링하는 것에 비해 유의미한 이점이 있음을 보여준다.