[논문 리뷰] Relational Long Short-Term Memory for Video Action Recognition

Zexi Chen, Bharathkumar Ramachandra외 2명|arXiv (Cornell University)|2018. 11. 16.

Human Pose and Action Recognition참고 문헌 54인용 수 7

한 줄 요약

이 논문은 비디오 내 객체 간의 장기적 및 단기적 시공간 관계를 모델링하기 위해 비국소 연산을 LSTM 아키텍처에 통합한 관계형 장단기 기억(LSTM) 네트워크를 제안한다. 국소 시공간 풀링 브랜치와 함께 관계형 LSTM를 결합함으로써, LSTM 기반 모델 중 최고 성능을 기록하고, 대규모 Charades 데이터셋에서 이전 방법보다 3.2% 향상된 성능을 보이며 객체 상호작용과 장기 경로 모델링 능력이 뛰어남을 입증한다.

ABSTRACT

Spatial and temporal relationships, both short-range and long-range, between objects in videos, are key cues for recognizing actions. It is a challenging problem to model them jointly. In this paper, we first present a new variant of Long Short-Term Memory, namely Relational LSTM, to address the challenge of relation reasoning across space and time between objects. In our Relational LSTM module, we utilize a non-local operation similar in spirit to the recently proposed non-local network to substitute the fully connected operation in the vanilla LSTM. By doing this, our Relational LSTM is capable of capturing long and short-range spatio-temporal relations between objects in videos in a principled way. Then, we propose a two-branch neural architecture consisting of the Relational LSTM module as the non-local branch and a spatio-temporal pooling based local branch. The local branch is utilized for capturing local spatial appearance and/or short-term motion features. The two branches are concatenated to learn video-level features from snippet-level ones which are then used for classification. Experimental results on UCF-101 and HMDB-51 datasets show that our model achieves state-of-the-art results among LSTM-based methods, while obtaining comparable performance with other state-of-the-art methods (which use not directly comparable schema). Further, on the more complex large-scale Charades dataset, we obtain a large 3.2% gain over state-of-the-art methods, verifying the effectiveness of our method in complex understanding.

연구 동기 및 목표

• 비디오 내 객체 간 단기 및 장기적 공간적·시간적 관계를 동시에 모델링하는 데 도전하는 것.
• 공간 및 시간 전역에서의 관계적 의존성을 포착하기 위해 비국소 연산을 통합함으로써 LSTM 기반 비디오 행동 인식을 향상시키는 것.
• 전역 관계 추론(비국소 LSTM를 통해)과 국소 특징 학습을 결합한 이중 브랜치 아키텍처를 개발하여 강력한 비디오 수준 표현을 확보하는 것.
• LSTM 기반 모델 중 최고 성능을 달성하고, 기준 데이터셋에서 비-LSTM 최고 성능 모델과 경쟁 가능한 성능을 내는 것.
• 세부적인 시간적·공간적 추론이 요구되는 복잡한 대규모 데이터셋에서 제안된 방법의 효과성을 검증하는 것.

제안 방법

• 관계형 LSTM는 기존 LSTM의 완전 연결 연산을 비국소 네트워크에서 영감을 얻은 비국소 연산으로 대체하여, 공간 및 시간 전역의 모든 특징 맵에 대해 주목적 유사한 계산을 가능하게 한다.
• 비국소 연산은 유사도 함수를 사용해 모든 위치의 특징을 가중합하여 계산함으로써, 국소성 가정 없이 장거리 의존성을 포착할 수 있다.
• 이중 신경망 아키텍처를 제안: 한 브랜치는 관계형 LSTM를 통해 전역 관계 추론을 수행하고, 다른 브랜치는 시공간 풀링을 통해 국소적 외관 및 운동 특징을 추출한다.
• 양 브랜치의 출력을 연결하여 통합된 비디오 수준 표현을 형성하고, 이를 최종 분류기 헤드를 통해 분류에 활용한다.
• 모델는 교차 엔트로피 손실을 사용해 엔드 투 엔드로 훈련되며, UCF-101과 HMDB-51에서는 공간 및 시간 스트림의 후기 융합을 적용하고, Charades에서는 RGB 입력만을 사용한다.
• 모델는 UCF-101, HMDB-51, Charades에서 표준 프로토콜과 지표(상위-1 정확도 및 mAP)를 사용해 평가된다.

실험 결과

연구 질문

• RQ1 수정된 LSTM 아키텍처가 비디오 행동에서 객체 간 단기 및 장기적 시공간 관계를 효과적으로 모델링할 수 있는가?
• RQ2 LSTM에 비국소 연산을 통합함으로써, 표준 LSTM나 2D/3D CNN에 비해 행동 인식을 위한 관계 추론 능력이 어떻게 향상되는가?
• RQ3 관계 추론과 국소 특징 학습을 결합한 제안된 이중 브랜치 아키텍처가 단독 LSTM나 CNN 기반 모델보다 더 높은 성능을 내는가?
• RQ4 관계형 LSTM가 복잡한 비디오 행동에서 장기 경로 및 객체 상호작용 특징을 어느 정도 효과적으로 포착할 수 있는가?
• RQ5 특히 Charades와 같은 대규모 데이터셋에서 비-LSTM 최고 성능 모델과 경쟁 가능한 성능을 달성할 수 있는가?

주요 결과

• UCF-101 데이터셋에서 제안된 방법은 상위-1 정확도 94.8%를 달성하여 모든 이전 LSTM 기반 모델을 능가하고, 최고의 비-LSTM 모델과 동등한 성능을 보였다.
• HMDB-51 데이터셋에서 모델은 상위-1 정확도 71.4%를 기록하여 더 도전적인 다양성 있는 행동 인식 벤치마크에서 강력한 성능을 입증했다.
• 대규모 Charades 데이터셋에서 모델은 mAP 28.8%를 기록하여 이전 최고 성능보다 3.2% 절대적 향상을 이룩했으며, 복잡한 다중 객체 및 장시간 시퀀스 행동 이해 능력이 뛰어나다는 것을 입증했다.
• 제거 실험 결과, 관계형 LSTM 모듈이 장거리 의존성과 객체 상호작용 모델링에 특히 기여함을 확인했다.
• LSTM 기반 모델 중 최고 성능을 달성했고, Charades에서 RGB 입력만으로도 비-LSTM 최고 성능 모델과 비교해 유사한 성능을 내는 것으로 나타났다.
• 모델는 간단한 훈련과 뛰어난 일반화 능력을 보였으며, 다양한 데이터셋과 평가 프로토콜에서 일관된 성능 향상을 보였다.