[논문 리뷰] End-to-end Video-level Representation Learning for Action Recognition

Jiagang Zhu, Wei Zou외 1명|arXiv (Cornell University)|2017. 11. 11.

Human Pose and Action Recognition참고 문헌 47인용 수 13

한 줄 요약

이 논문은 RGB 및 옵티컬 플로우 스트림에서 희소하게 샘플링된 프레임 수준 특징을 다중 척도, 시퀀스 인식형 영상 수준 표현으로 통합하기 위해 시간 피라미드 풀링 레이어를 사용하는 엔드 투 엔드 영상 수준 표현 학습 방법인 시간 피라미드 풀링을 갖춘 딥 네트워크(DTPP)를 제안한다. DTPP는 UCF101과 HMDB51에서 최고 성능을 기록하며, HMDB51에서 이전 방법보다 최대 2.3% 향상되었고, 라이트 퓨전을 통해 96.2%의 정확도를 달성한다.

ABSTRACT

From the frame/clip-level feature learning to the video-level representation building, deep learning methods in action recognition have developed rapidly in recent years. However, current methods suffer from the confusion caused by partial observation training, or without end-to-end learning, or restricted to single temporal scale modeling and so on. In this paper, we build upon two-stream ConvNets and propose Deep networks with Temporal Pyramid Pooling (DTPP), an end-to-end video-level representation learning approach, to address these problems. Specifically, at first, RGB images and optical flow stacks are sparsely sampled across the whole video. Then a temporal pyramid pooling layer is used to aggregate the frame-level features which consist of spatial and temporal cues. Lastly, the trained model has compact video-level representation with multiple temporal scales, which is both global and sequence-aware. Experimental results show that DTPP achieves the state-of-the-art performance on two challenging video action datasets: UCF101 and HMDB51, either by ImageNet pre-training or Kinetics pre-training.

연구 동기 및 목표

• 이중 스트림 행동 인식 모델에서 부분 관찰 학습과 비엔드 투 엔드 학습의 한계를 해결하기 위해.
• 기존 영상 수준 표현 학습 방법에서 단일 시간 척도 모델링의 제약을 극복하기 위해.
• 유용하고 효율적인 분류 능력을 갖춘 컴팩트하고 글로벌하며 시퀀스 인식형 영상 수준 표현을 구축하기 위해.
• 운동 신호가 핵심인 어려운 데이터셋인 HMDB51에서의 성능 향상을 위해.
• 원시 영상 입력에서 직접 영상 수준 예측을 최적화하는 엔드 투 엔드 학습을 가능하게 하기 위해.

제안 방법

• 전체 영상에 걸쳐 RGB 이미지와 옵티컬 플로우 스택을 희소하게 샘플링하여 프레임 수준 특징을 추출한다.
• 시간 피라미드 풀링 레이어를 적용하여 프레임 수준 특징을 고정 크기의 다중 척도 영상 수준 표현으로 통합한다.
• 시간 피라미드 풀링 레이어에서 굵은 것에서 섬세한 구조로의 아키텍처를 통해 다중 시간 척도에서 장거리 시간 의존성을 포착한다.
• 화면 수준 레이블을 사용하여 전체 네트워크를 엔드 투 엔드로 학습하고, 프레임 수준 예측 통합을 피한다.
• 개선된 특징 학습을 위해 백본 네트워크를 ImageNet 또는 Kinetics 사전 훈련 모델로 초기화한다.
• 기존 방법인 iDT 및 MIFS와 같은 라이트 퓨전을 활용하여 성능을 추가로 향상시킨다.

실험 결과

연구 질문

• RQ1 엔드 투 엔드 영상 수준 표현 학습은 화면 수준 또는 클립 수준 학습보다 행동 인식 성능을 향상시킬 수 있는가?
• RQ2 시간 피라미드 풀링 레이어를 통한 다중 척도 시간 모델링이 행동 인식 벤치마크에서 분류 능력을 향상시키는가?
• RQ3 엔드 투 엔드 학습은 비엔드 투 엔드 방법에 비해 영상 수준 표현의 강건성에 어떤 영향을 미치는가?
• RQ4 행동 신호가 미세하고 영상이 짧은 도전적인 데이터셋인 HMDB51에 대해 이 방법은 어느 정도 일반화되는가?
• RQ5 컴팩트하고 시퀀스 인식형 영상 수준 표현은 화면 수준 앙상블이나 고차원 특징에 의존하는 모델을 능가할 수 있는가?

주요 결과

• DTPP는 UCF101과 HMDB51에서 최고 성능을 기록하며, iDT 및 MIFS와 융합했을 때 단일 모델 정확도가 각각 96.2%와 76.3%에 달한다.
• HMDB51에서 DTPP는 이전 최고의 단일 모델 방법보다 2.3% 높은 성능을 기록하여 도전적인 운동 의존 행동에서 강력한 성능을 입증했다.
• Kinetics 사전 훈련을 사용할 경우, DTPP는 UCF101에서 BN-Inception 기반 TSN보다 1.0% 높고, HMDB51에서는 1.4% 높은 성능을 기록하여 두 데이터셋에서 최고 성능을 달성했다.
• 전체 프레임 입력과 앙상블 모델링을 사용하는 동적 이미지 네트워크를 능가하여, 다중 척도 및 엔드 투 엔드 학습의 우수성을 보여주었다.
• 시각화 결과 DTPP는 '앉기', '카트윙드', '검을 그려내기'와 같은 시퀀스 기반 행동에서 TSN보다 15% 이상 높은 정확도를 기록하며 뚜렷한 우수성을 입증했다.
• 이 방법은 특히 운동 신호가 더 중요한 HMDB51에서 뛰어나며, 라이트 퓨전에서 시간 스트림에 더 높은 가중치(0.6)를 부여함으로써 성능 향상을 얻는다.