[논문 리뷰] TS-LSTM and Temporal-Inception: Exploiting Spatiotemporal Dynamics for Activity Recognition

Chih‐Yao Ma, Min-Hung Chen외 2명|arXiv (Cornell University)|2017. 03. 30.

Human Pose and Action Recognition참고 문헌 8인용 수 39

한 줄 요약

이 논문은 ResNet-101 기반 이중 스트림 컨볼루션 네트워크에서 공간적 및 시간적 특징을 통합함으로써 영상 행동 인식에서 시공간 특징 학습을 향상시키는 두 가지 새로운 아키텍처인 TS-LSTM과 Temporal-Inception을 제안한다. 시간 분할 기반의 LSTMs와 다중 척도 시간 컨볼루션 네트워크를 적용함으로써, 광범위한 시간 증강 없이도 UCF101에서 94.1%의 최고 성능과 HMDB51에서 69.0%의 최고 성능를 달성한다.

ABSTRACT

Recent two-stream deep Convolutional Neural Networks (ConvNets) have made significant progress in recognizing human actions in videos. Despite their success, methods extending the basic two-stream ConvNet have not systematically explored possible network architectures to further exploit spatiotemporal dynamics within video sequences. Further, such networks often use different baseline two-stream networks. Therefore, the differences and the distinguishing factors between various methods using Recurrent Neural Networks (RNN) or convolutional networks on temporally-constructed feature vectors (Temporal-ConvNet) are unclear. In this work, we first demonstrate a strong baseline two-stream ConvNet using ResNet-101. We use this baseline to thoroughly examine the use of both RNNs and Temporal-ConvNets for extracting spatiotemporal information. Building upon our experimental results, we then propose and investigate two different networks to further integrate spatiotemporal information: 1) temporal segment RNN and 2) Inception-style Temporal-ConvNet. We demonstrate that using both RNNs (using LSTMs) and Temporal-ConvNets on spatiotemporal feature matrices are able to exploit spatiotemporal dynamics to improve the overall performance. However, each of these methods require proper care to achieve state-of-the-art performance; for example, LSTMs require pre-segmented data or else they cannot fully exploit temporal information. Our analysis identifies specific limitations for each method that could form the basis of future work. Our experimental results on UCF101 and HMDB51 datasets achieve state-of-the-art performances, 94.1% and 69.0%, respectively, without requiring extensive temporal augmentation.

연구 동기 및 목표

• 표준 이중 스트림 컨볼루션 네트워크를 초월하여 시공간 역학의 통합을 체계적으로 평가하고 향상시키는 것.
• RNN과 시간 컨볼루션 네트워크가 특징 벡터에 직접 적용되었을 때 시간 정보를 효과적으로 활용하지 못하는 한계를 규명하는 것.
• 공정한 비교를 위해 ResNet-101 기반 이중 스트림 컨볼루션 네트워크를 사용하여 강력하고 일관된 베이스라인을 확립하는 것.
• 시간 분할과 다중 척도 시간 컨볼루션 네트워크가 단순 평균 풀링이나 분할되지 않은 RNN보다 성능 향상에 크게 기여하는지 조사하는 것.
• 엔드 투 엔드 행동 인식에서 LSTMs 기반과 컨볼루션 기반 시간 모델링 간의 설계 선택과 성능 트레이드오프를 명확히 하는 것.

제안 방법

• ImageNet에서 학습된 ResNet-101 기반 이중 스트림 컨볼루션 네트워크를 단일 프레임 행동 인식에 대해 미세조정하여 RGB 및 옵티컬 플로우 입력에서 공간적 및 시간적 특징을 추출한다.
• 공간적 및 시간적 특징을 연결하고, 이를 영상 프레임 간의 시공간 역학을 나타내는 특징 행렬로 시간적으로 구성한다.
• TS-LSTM은 이러한 특징 행렬에 대해 시간 분할을 수행한 후 장기 의존성을 더 잘 모델링할 수 있도록 장기 단기 기억(LSTM) 네트워크를 적용한다.
• Temporal-Inception은 같은 특징 행렬에서 다중 척도 시간 컨볼루션 커널을 인셉션 스타일 아키텍처에 통합하여 다중 척도 시간 패턴을 캡처한다.
• 두 방법 모두 동일한 입력 특징 행렬을 처리하므로 시간 모델링의 효과성을 직접 비교하고 추론 분석을 수행할 수 있다.
• t-SNE 시각화를 통해 특징 공간의 군집화를 분석하여, TS-LSTM과 Temporal-Inception 적용 후 클래스 간 분리도 향상됨을 보여준다.

실험 결과

연구 질문

• RQ1 동일한 특징 행렬에 적용되었을 때, RNN 기반과 시간 컨볼루션 네트워크 기반 방법 간의 시공간 역학 활용 능력은 어떻게 비교될 수 있는가?
• RQ2 시간 분할이 LSTM 성능에 어떤 영향을 미치며, 분할되지 않은 LSTM보다 더 나은 시간 모델링을 가능하게 하는가?
• RQ3 다중 척도 Temporal-Inception 아키텍처가 3D 컨볼루션 또는 특징 맵에 의존하지 않고도 단순히 특징 벡터만으로 최고 성능를 달성할 수 있는가?
• RQ4 행동 인식을 위한 시간 모델링에서 최적의 성능를 이끌어내는 주요 아키텍처 및 학습 설계 선택은 무엇인가?
• RQ5 제안된 방법이 기존 이중 스트림 컨볼루션 네트워크 대비 특징 공간 군집화와 클래스 분리도를 얼마나 향상시키는가?

주요 결과

• TS-LSTM는 UCF101에서 94.1%의 최고 성능, HMDB51에서 69.0%의 최고 성능를 달성하여 광범위한 시간 증강 없이도 기존 이중 스트림 컨볼루션 네트워크 및 이전 방법들을 능가한다.
• 기본 이중 스트림 컨볼루션 네트워크는 시간 모델링이 부족하여 HighJump와 PizzaTossing와 같은 복잡한 동작을 잘못 분류하지만, TS-LSTM과 Temporal-Inception은 이들 예제를 정확히 분류한다.
• t-SNE 시각화 결과, 기존 베이스라인 대비 TS-LSTM과 Temporal-Inception 모두 더 조밀하고 분리도가 높은 특징 군집을 생성함을 보여주며, 더 나은 표현 학습이 이루어졌음을 시사한다.
• HighJump 클래스의 경우, TS-LSTM는 97.3%의 정확도를 기록했고, 기존 베이스라인은 62.2%였으며, Temporal-Inception는 94.6%를 달성하여 시간 이해 능력 향상이 뚜렷하게 나타났다.
• PizzaTossing의 경우, TS-LSTM는 90.9%의 정확도를 기록했고, Temporal-Inception는 97.0%를 달성하여 유사한 운동 패턴을 가진 세부 동작 카테고리에서 뛰어난 일반화 능력을 보였다.
• 본 연구는 LSTMs가 시간 분할을 통합하지 않는 한 시간 정보를 효과적으로 활용하지 못함을 드러내며, 이 맥락에서 보편적인 RNN 아키텍처의 핵심 설계 한계를 규명한다.