[논문 리뷰] Long-term Temporal Convolutions for Action Recognition

Gül Varol, Ivan Laptev외 1명|arXiv (Cornell University)|2016. 04. 15.

Human Pose and Action Recognition참고 문헌 29인용 수 137

한 줄 요약

논문은 3D CNN에서 장기 시간적 합성곱(LTC)을 도입하여 행동의 확장된 시간 구조를 모델링하고, 특히 흐름과 RGB 스트림을 IDT 특징과 결합했을 때 UCF101 및 HMDB51에서 최첨단 성능을 보인다.

ABSTRACT

Typical human actions last several seconds and exhibit characteristic spatio-temporal structure. Recent methods attempt to capture this structure and learn action representations with convolutional neural networks. Such representations, however, are typically learned at the level of a few video frames failing to model actions at their full temporal extent. In this work we learn video representations using neural networks with long-term temporal convolutions (LTC). We demonstrate that LTC-CNN models with increased temporal extents improve the accuracy of action recognition. We also study the impact of different low-level representations, such as raw values of video pixels and optical flow vector fields and demonstrate the importance of high-quality optical flow estimation for learning accurate action models. We report state-of-the-art results on two challenging benchmarks for human action recognition UCF101 (92.7%) and HMDB51 (67.2%).

연구 동기 및 목표

• 행동의 수 초에 걸친 장거리 시공간 구조를 포착하는 비디오 표현 학습을 자극한다.
• 시간적 범위를 확장하되 공간 해상도와 모델 복잡성의 균형을 맞추기 위해 LTC(long-term temporal convolutions)를 조사한다.
• 특히 고품질 광학 흐름과 같은 저수준 표현이 행동 인식에 미치는 영향을 평가한다.
• LTC 기반 모델에 대한 데이터 증강, 사전 학습 및 다중 모달 융합(RGB, 흐름, IDT)의 이점을 평가한다.
• LTC가 시간 패턴을 학습하는 방식과 이것이 데이터셋 간 성능에 미치는 영향을 이해한다.

제안 방법

• 3x3x3 필터를 사용하고 점진적인 시간적 범위를 갖는 5개의 시공간 합성곱 층을 갖춘 3D CNN 구조를 제안한다.
• 16 프레임 대 60 프레임의 입력 구성과 최대 100 프레임까지의 시간적 범위를 비교한다.
• RGB 및 흐름 입력(MPEG 흐름, Farneback, Brox)을 평가하고 흐름 품질이 인식에 미치는 영향을 연구한다.
• 데이터 증강(랜덤 클리핑, 다중 스케일 자르기)과 드롭아웃을 사용하고, 처음부터 학습하거나 미세 조정한다.
• UCF101 및 HMDB51에서 학습하고, 클립 수준 및 비디오 수준 정확도를 보고하며, 다중 크롭과 다중 클립 평균으로 테스트한다.
• RGB 네트워크의 Sports-1M에서의 사전 학습 후 시간적 범위를 확장하는 경우의 이익을 조사하고, RGB 및 흐름 스트림의 후합을 탐구하며 IDT 특징과의 결합도 포함한다.

실험 결과

연구 질문

• RQ1 3D CNN에서 시간적 범위를 증가시키는(LTC) 것이 행동 인식 성능에 어떤 영향을 미치는가?
• RQ2 입력 모달리티(RGB 대 광학 흐름)와 흐름 품질이 LTC 기반 모델에 어떤 영향을 미치는가?
• RQ3 제한된 데이터에서 LTC 성능을 가장 크게 향상시키는 데이터 증강 전략은 무엇인가?
• RQ4 큰 데이터셋에서 RGB 네트워크를 사전 학습시키는 것이 시간적 범위를 확장할 때 LTC 성능을 향상시키는가?
• RQ5 다중 해상도 LTC와 다중 모달 입력의 조합이 단일 스트림 모델 대비 상호 보완적 이익을 제공하는가?

주요 결과

• 장기 시간적 합성곱은 짧은 프레임 네트워크(예: 60f vs 16f)에 비해 클립 수준 및 비디오 수준 정확도를 크게 향상시킨다.
• 특히 고품질 Brox 흐름이 RGB 입력보다 LTC 기반 행동 인식에 더 잘 작동한다.
• 데이터 증강(랜덤 클리핑, 다중 스케일 자르기)과 더 높은 드롭아웃이 성능을 크게 향상시킨다.
• Sports-1M에서의 RGB LTC 네트워크 사전 학습 후 시간적 범위를 확장하는 것이 UCF101에서 주목할 만한 이점을 준다.
• 흐름 및 RGB LTC 스트림의 결합은 강한 이익을 제공하며 LTC Flow+RGB+IDT는 UCF101(92.7%) 및 HMDB51(67.2%)에서 최첨단 결과를 달성한다.
• 초기 3D 필터의 분석은 LTC가 표현력 있는 시공간 운동 패턴을 학습함을 보여주며, 상층 필터는 클래스 순수도가 증가한다.