[논문 리뷰] Multi-Level Recurrent Residual Networks for Action Recognition

Zhenxing Zheng, Gaoyun An외 1명|arXiv (Cornell University)|2017. 11. 22.

Human Pose and Action Recognition참고 문헌 31인용 수 6

한 줄 요약

이 논문은 저수준, 중수준, 고수준 시공간 표현을 세 개의 병렬 ResNet-RNN 스트림과 신체 연결을 통해 융합하는 새로운 아키텍처인 다중 수준 순환 잔차 네트워크(MRRN)를 제안한다. 스택형 단순 순환 유닛(SRUs)과 소프트맥스 점수의 가중 평균 융합을 활용함으로써, 외부 데이터 없이도 HMDB-51에서 51.3%, UCF-101에서 81.9%의 최상위 성능를 달성하면서도 이전 모델보다 낮은 계산 복잡도를 유지한다.

ABSTRACT

Most existing Convolutional Neural Networks(CNNs) used for action recognition are either difficult to optimize or underuse crucial temporal information. Inspired by the fact that the recurrent model consistently makes breakthroughs in the task related to sequence, we propose a novel Multi-Level Recurrent Residual Networks(MRRN) which incorporates three recognition streams. Each stream consists of a Residual Networks(ResNets) and a recurrent model. The proposed model captures spatiotemporal information by employing both alternative ResNets to learn spatial representations from static frames and stacked Simple Recurrent Units(SRUs) to model temporal dynamics. Three distinct-level streams learned low-, mid-, high-level representations independently are fused by computing a weighted average of their softmax scores to obtain the complementary representations of the video. Unlike previous models which boost performance at the cost of time complexity and space complexity, our models have a lower complexity by employing shortcut connection and are trained end-to-end with greater efficiency. MRRN displays significant performance improvements compared to CNN-RNN framework baselines and obtains comparable performance with the state-of-the-art, achieving 51.3% on HMDB-51 dataset and 81.9% on UCF-101 dataset although no additional data.

연구 동기 및 목표

• 기존의 CNN-RNN 모델이 깊은 네트워크 최적화와 비디오 행동 인식에서 시간 정보를 충분히 활용하지 못하는 한계를 해결하기 위해.
• 시공간 모델링에서 성능을 유지하거나 향상시키면서도 계산 복잡도를 감소시키기 위해.
• 저수준, 중수준, 고수준 표현 간의 상호보완적 성질을 탐색하여 비디오 이해를 향상시키기 위해.
• 비디오 시퀀스의 공간적 및 시간적 동역학을 효율적으로 포착할 수 있는 종단간 훈련 가능한 아키텍처를 설계하기 위해.

제안 방법

• 모델은 저수준, 중수준, 고수준 순환 잔차 네트워크(RRNs)의 세 개의 병렬 스트림을 사용하며, 각 스트림은 공간적 특징 추출을 위한 ResNet과 시간 모델링을 위한 스택형 단순 순환 유닛(SRUs)을 조합한다.
• 각 스트림에서 신체 연결을 사용함으로써 훈련 난이도를 낮추고 시간 및 공간 복잡도를 감소시킨다.
• 시공간 표현은 먼저 비디오 프레임에서 고정 길이의 특징 벡터를 ResNets를 통해 추출한 후, SRUs를 통한 순차적 모델링으로 학습한다.
• 최종 예측은 세 스트림의 소프트맥스 점수를 가중 평균하여 상호보완적인 표현을 융합함으로써 생성된다.
• 최종 분류 레이어 이전에 전체 RNN 출력 시계열에 대해 시간 시리즈 풀링을 적용한다.
• 추가적인 데이터 증강 또는 사전 훈련 없이 표준 교차 엔트로피 손실과 확률적 경사 하강법을 사용해 종단간 훈련한다.

실험 결과

연구 질문

• RQ1 동일한 네트워크 아키텍처에서 유도된 저수준, 중수준, 고수준 표현의 다중 수준 표현이 상호보완적 융합을 통해 행동 인식 성능를 향상시킬 수 있는가?
• RQ2 순환 잔차 아키텍처에서 신체 연결을 사용할 경우, 표준 RNN 또는 잔차 네트워크와 비교해 훈련 효율성과 모델 복잡도에 어떤 영향을 미치는가?
• RQ3 외부 데이터 없이도 경량 순환 잔차 네트워크가 3D-CNN나 cLSTM와 같은 더 복잡한 모델보다 성능를 뛰어나거나 유사하게 유지할 수 있는가?
• RQ4 다양한 시간 풀링 전략이 네트워크의 다양한 깊이에서 유도된 특징의 기여도가 최종 행동 인식 정확도에 미치는 영향은 어떠한가?

주요 결과

• MRRN은 HMDB-51 데이터셋에서 51.3%의 상위-1 정확도를 달성하고 UCF-101에서는 81.9%를 기록하여 외부 데이터 없이도 최신 기술 수준의 성능를 달성하거나 초월한다.
• Spatial ConvNet보다 HMDB-51에서 10.8% 향상되었고, UCF-101에서는 8.9% 향상되어 순환 유닛을 통한 운동 동역학 모델링의 유용성을 입증한다.
• HMDB-51에서 cLSTM보다 7.2% 향상되었고(44.1%에서 51.3%로), UCF-101에서는 6.1% 향상되었으며(75.8%에서 81.9%로), 더 강력한 시공간 표현 학습 능력을 시사한다.
• 소프트맥스 점수의 가중 융합을 통한 세 스트림 아키텍처는 개별 스트림보다 뛰어난 성능를 보이며, 다중 수준 특징의 상호보완적 성질을 확인한다.
• 복잡도 분석 결과, 효율적인 신체 연결과 감소된 파라미터 수로 인해 MRRN은 C3D, scLSTM, cLSTM보다 낮은 시간 및 공간 복잡도를 가진다.
• UCF-101의 오차 행렬은 강한 대각선 우세성을 보이며, 대부분의 행동 클래스에서 높은 예측 정확도를 나타내며, 첫 번째 분할에서 총 정확도 81.9%를 기록한다.