[논문 리뷰] Learning from Videos with Deep Convolutional LSTM Networks

Logan Courtney, R.S. Sreenivas|arXiv (Cornell University)|2019. 04. 09.

Human Pose and Action Recognition참고 문헌 86인용 수 4

한 줄 요약

이 논문은 2D 컨볼루션을 LSTM 유닛 내부에 통합하여 다중 척도에서 시공간 패턴을 포착함으로써 영상 데이터로부터 공간적 및 시간적 특징을 동시에 학습하는 딥 컨볼루션 LSTM 네트워크를 제안한다. 사전 훈련을 LRS2에서 수행한 경우 LRW 리핑리딩 데이터셋에서 85.2%의 정확도로 최신 기준 성능(SOTA)을 달성하여, 아키텍처 설계에 대한 사전 지식 없이도 관련 시공간 척도를 자동으로 식별할 수 있음을 입증한다.

ABSTRACT

This paper explores the use of convolution LSTMs to simultaneously learn spatial- and temporal-information in videos. A deep network of convolutional LSTMs allows the model to access the entire range of temporal information at all spatial scales of the data. We describe our experiments involving convolution LSTMs for lipreading that demonstrate the model is capable of selectively choosing which spatiotemporal scales are most relevant for a particular dataset. The proposed deep architecture also holds promise in other applications where spatiotemporal features play a vital role without having to specifically cater the design of the network for the particular spatiotemporal features existent within the problem. For the Lip Reading in the Wild (LRW) dataset, our model slightly outperforms the previous state of the art (83.4% vs. 83.0%) and sets the new state of the art at 85.2% when the model is pretrained on the Lip Reading Sentences (LRS2) dataset.

연구 동기 및 목표

• 영상 시퀀스에서 공간적 및 시간적 특징을 동시에 모델링할 수 있는 딥 신경망 아키텍처를 개발하는 것.
• 컨볼루션 LSTM이 특정 작업을 위해 사전 아키텍처 설계 없이도 관련 시공간 척도를 자동으로 학습할 수 있는지 조사하는 것.
• 통합된 시공간 학습 프레임워크를 통해 단기적 동적 특징과 장기적 맥락을 활용하여 리핑리딩 성능을 향상시키는 것.
• 리핑리딩과 같은 영상 이해 과제에서 가장 중요한 시공간 척도는 무엇인지에 대한 통찰을 제공하는 것.

제안 방법

• 모델은 2D 컨볼루션을 LSTM 셀 내부에 통합하여 각 시간 단계에서 공간적 특징을 처리하는 컨볼루션 LSTM 레이어의 깊은 스택을 사용한다.
• 2D 컨볼루션과 컨볼루션 LSTM을 결합함으로써 다중 공간 척도에서 계층적인 시공간 표현을 학습할 수 있도록 아키텍처를 구성한다.
• 내부 상태를 다양한 간격(T = 1, 3, 5, 10, 15 프레임)으로 주기적으로 재설정함으로써 감도 분석을 수행하여 각 공간 해상도에서 시간적 맥락의 중요도를 평가한다.
• 특징 맵은 여러 척도(s/2, s/4, s/8, s/16)에서 처리되며, 여기서 s는 원본 공간 크기를 나타낸다.
• 훈련 안정성 향상과 성능 향상을 위해 ResNet과 유사한 잔차 연결 구조를 적용한다.
• 모델은 LRW 데이터셋에서 미세조정 및 평가되며, 상태 재설정 간격에 대한 추론 실험을 통해 시간 의존성의 중요도를 평가한다.

실험 결과

연구 질문

• RQ1 주로 컨볼루션 LSTM으로 구성된 딥 아키텍처가 리핑리딩과 같은 영상 이해 과제에서 기존 모델을 초월할 수 있는가?
• RQ2 정확한 리핑리딩을 위해 가장 중요한 시공간 척도(공간 해상도 및 시간 맥락 길이)는 무엇인가?
• RQ3 컨볼루션 LSTM의 사용이 사전 아키텍처 설계 없이도 관련 시공간 특징을 자동으로 탐지할 수 있는가?
• RQ4 3D 컨볼루션과 양방향 LSTM을 조합한 하이브리드 아키텍처와 비교해 볼 때 컨볼루션 LSTM 모델의 성능는 어떠한가?
• RQ5 컨볼루션 LSTM의 은닉-은닉 연결이 다양한 공간 척도에서 성능에 얼마나 기여하는가?

주요 결과

• LRS2 데이터셋에서 사전 훈련을 수행한 경우, LRW 데이터셋에서 85.2%의 새로운 최고 성능(SOTA)을 달성하여 이전 SOTA(83.0%)를 초월한다.
• 사전 훈련 없이도 원본 LRW 데이터셋에서 이전 SOTA(83.4%)를 略히 초월하여 강력한 일반화 능력을 보여준다.
• 시간 맥락이 제거된 경우 s/16 척도에서 성능이 크게 떨어지며, 이는 가장 넓은 공간 척도에서 장기적 시간 의존성이 핵심임을 시사한다.
• s/8 척도에서는 약 10 프레임 이상의 시간 맥락이 유지될 때에만 높은 성능를 기록하며, 이는 중간 기간의 시퀀스를 포착함을 의미한다.
• s/2 척도는 매 프레임마다 상태를 재설정할 경우 가장 민감하게 반응하며, 이는 고공간 해상도에서 세밀하고 단기적인 동적 특징이 리핑리딩에 필수적임을 확인한다.
• s/4 척도는 상태 재설정 빈도와 관계없이 높은 성능를 유지하며, 이는 이 척도에서 은닉-은닉 연결이 컨볼루션 연산이 이미 포괄한 바를 초과해 기여하지 않는다는 것을 시사한다.