[논문 리뷰] Pooling the Convolutional Layers in Deep ConvNets for Action Recognition

Shichao Zhao, Yanbin Liu외 2명|arXiv (Cornell University)|2015. 11. 06.

Human Pose and Action Recognition참고 문헌 35인용 수 7

한 줄 요약

이 논문은 깊이 있는 ConvNet에서 추출한 특징을 시간에 따라 풀링하는 새로운 프레임워크를 제안한다. 특히 공간적 특징은 VGGNet을, 운동 특징은 Two-Stream ConvNets를 사용하며, 궤적 풀링과 선 풀링이라는 두 가지 시간 풀링 전략을 도입한다. VLAD를 통한 효과적인 시간 인코딩과 깊이 있는 네트워크 특징을 활용하여 UCF101에서 93.78%의 최고 성능을 달성하고, HMDB51에서는 65.62%의 성능을 기록한다.

ABSTRACT

Deep ConvNets have shown its good performance in image classification tasks. However it still remains as a problem in deep video representation for action recognition. The problem comes from two aspects: on one hand, current video ConvNets are relatively shallow compared with image ConvNets, which limits its capability of capturing the complex video action information; on the other hand, temporal information of videos is not properly utilized to pool and encode the video sequences. Towards these issues, in this paper, we utilize two state-of-the-art ConvNets, i.e., the very deep spatial net (VGGNet) and the temporal net from Two-Stream ConvNets, for action representation. The convolutional layers and the proposed new layer, called frame-diff layer, are extracted and pooled with two temporal pooling strategy: Trajectory pooling and line pooling. The pooled local descriptors are then encoded with VLAD to form the video representations. In order to verify the effectiveness of the proposed framework, we conduct experiments on UCF101 and HMDB51 datasets. It achieves the accuracy of 93.78\% on UCF101 which is the state-of-the-art and the accuracy of 65.62\% on HMDB51 which is comparable to the state-of-the-art.

연구 동기 및 목표

• 복잡한 시공간 행동 패턴을 포착하는 데에 한계가 있는 浅층 비디오 ConvNet의 문제를 해결하기 위해.
• 효과적인 풀링 전략을 설계하여 깊이 있는 비디오 표현에서 시간 정보를 더 잘 활용하기 위해.
• 매우 깊은 네트워크(예: VGGNet)와 옵티컬 플로우 스트림을 활용하여 더 풍부한 특징 추출을 위해.
• 기존의 수작업 특징 및 이전의 딥러닝 접근법을 초월하여 표준 벤치마크에서 성능을 높이기 위해.

제안 방법

• 프레임워크는 공간 스트림으로 VGGNet을, 옵티컬 플로우 스트림으로 Two-Stream ConvNets를 사용하여 중간 합성곱 레이어에서 특징을 추출한다.
• 연속 프레임 간 픽셀 단위의 차이를 계산하여 운동 표현을 향상시키기 위해 새로운 프레임-차이 레이어를 도입한다.
• 두 가지 시간 풀링 전략을 제안한다: 궤적 풀링은 운동 궤적을 따라 특징을 정렬하고, 선 풀링은 시간선을 따라 풀링한다.
• 다양한 레이어(예: Conv5 및 Diff5)에서 풀링된 특징은 학습된 코드북을 사용한 VLAD로 인코딩되어 최종 비디오 표현을 생성한다.
• 공간 스트림과 시간 스트림의 특징을 결합하며, 추론 과정에서 아블레이션 스터디에 기반한 레이어 선택 전략을 적용한다.
• 풀링 이후 VLAD 인코딩을 적용하여 국소 기술자를 압축된 전역 비디오 표현으로 집계한다.

실험 결과

연구 질문

• RQ1 표준 비디오 네트워크가 비교적 浅층임에도 불구하고, 깊이 있는 ConvNet을 비디오 행동 인식에 효과적으로 활용할 수 있는 방법은 무엇인가?
• RQ2 평균 풀링보다 비디오 시퀀스의 시간적 변동을 더 잘 활용할 수 있는 풀링 전략은 무엇인가?
• RQ3 프레임-차이 특징의 통합이 깊이 있는 비디오 모델에서 운동 표현을 향상시킬 수 있는가?
• RQ4 기존의 TDD 및 iDT와 비교했을 때, 제안된 풀링 전략은 정확도와 효율성 면에서 어떻게 다른가?

주요 결과

• 제안된 궤적 풀링 전략은 UCF101에서 93.78%의 정확도를 기록하여 새로운 SOTA 성능을 달성한다.
• 선 풀링 전략은 UCF101에서 90.55%의 정확도를 기록하여 TDD(90.3%)와 유사하며, 원래의 Two-Stream ConvNets(88.0%)를 능가한다.
• HMDB51에서는 65.62%의 정확도를 기록하여 원래의 Two-Stream ConvNets(59.4%)를 초월하고, TDD(63.2%)와 동등한 성능을 달성한다.
• TDD 대비 2% 이상의 성능 향상을 기록하여, 제안된 레이어 선택 및 풀링 설계의 효과성을 입증한다.
• 프레임-차이 레이어와 더 깊은 합성곱 특징의 통합은 운동 표현과 전체 정확도를 크게 향상시킨다.
• UCF101에서는 iDT 기반 접근법보다 5% 높고, HMDB51에서는 4% 높은 성능을 기록하여 딥러닝의 우수성을 입증한다.