[논문 리뷰] Learning Spatio-Temporal Features with Two-Stream Deep 3D CNNs for Lipreading

Xinshuo Weng, Kris Kitani|arXiv (Cornell University)|2019. 05. 04.

Video Surveillance and Tracking Methods참고 문헌 48인용 수 45

한 줄 요약

본 논문은 grayscale 비디오와 광류를 사용하는 이중 흐름의 심층 3D CNN lipreading 프레임워크(I3D 프런트엔드)를 ImageNet과 Kinetics에서 사전 학습한 뒤 Bi-LSTM 백엔드를 따라 LRW에서 단어 수준 lipreading의 상태-아트(SOTA)를 달성하였고, 절대적 개선은 5.3%포인트이다.

ABSTRACT

We focus on the word-level visual lipreading, which requires recognizing the word being spoken, given only the video but not the audio. State-of-the-art methods explore the use of end-to-end neural networks, including a shallow (up to three layers) 3D convolutional neural network (CNN) + a deep 2D CNN (e.g., ResNet) as the front-end to extract visual features, and a recurrent neural network (e.g., bidirectional LSTM) as the back-end for classification. In this work, we propose to replace the shallow 3D CNNs + deep 2D CNNs front-end with recent successful deep 3D CNNs --- two-stream (i.e., grayscale video and optical flow streams) I3D. We evaluate different combinations of front-end and back-end modules with the grayscale video and optical flow inputs on the LRW dataset. The experiments show that, compared to the shallow 3D CNNs + deep 2D CNNs front-end, the deep 3D CNNs front-end with pre-training on the large-scale image and video datasets (e.g., ImageNet and Kinetics) can improve the classification accuracy. Also, we demonstrate that using the optical flow input alone can achieve comparable performance as using the grayscale video as input. Moreover, the two-stream network using both the grayscale video and optical flow inputs can further improve the performance. Overall, our two-stream I3D front-end with a Bi-LSTM back-end results in an absolute improvement of 5.3% over the previous art on the LRW dataset.

연구 동기 및 목표

• 단어 수준 시각적 립리딩을 심층 3D CNN 프런트엔드를 활용해 확장한다.
• 대규모 데이터셋(ImageNet과 Kinetics)에 대한 심층 3D CNN의 사전 학습 이점이 립리딩에 유익한지 조사한다.
• 입력으로의 광류의 유용성 및 이중 흐름 아키텍처가 립리딩에 미치는 효과를 평가한다.
• 이론적으로 끝-대-끝으로 학습 가능성과 이전의 두 단계 및 얕은 프런트엔드 방법에 비한 성능 향상을 입증한다.

제안 방법

• 그 공간-시간 특징을 학습하기 위해 회색조 비디오와 광류를 사용하는 이중 흐름 I3D 프런트를 사용한다.
• 2D ImageNet 가중치를 3D로 올리고 두 단계의 사전 학습을 수행한다: ImageNet 팽창 후 Kinetics에서의 미세 조정.
• 백엔드는 시계열 의존성을 모델링하고 단어 점수를 생성하기 위해 2계층 Bi-LSTM으로 구성된다.
• 단어 확률에 대한 소프트맥스 층으로 끝-대-끝으로 학습한다.
• 깊이, 사전 학습 및 이중 흐름 입력의 기여를 분리하기 위해 단일 흐름 I3D 및 얕은 3D CNN 프런트를 비교한다.

실험 결과

연구 질문

• RQ1 깊은 3D CNN 프런트엔드가 립리딩에서 얕은 3D + 깊은 2D 프런트엔드보다 우수한가?
• RQ2 두 단계 사전 학습(ImageNet 확장 3D 가중치 + Kinetics 미세 조정)이 립리딩 정확도를 향상시키는가?
• RQ3 광류가 립리딩에 실행 가능한 보완 입력이며 이중 흐름 구성이 성능을 높이는가?
• RQ4 백엔드 선택(Bi-LSTM vs 1D 시간 축 컨볼루션 네트) 가 단어 분류 성능에 미치는 영향은 무엇인가?

주요 결과

• 이중 흐름 I3D 프런트엔드와 Bi-LSTM 백엔드가 LRW에서 테스트 정확도 84.07%를 달성하고 기존의 SOTA를 5.3 포인트 앞서다.
• 깊은 3D 프런트엔드의 좋은 성능을 위해서는 2라운드 사전 학습(ImageNet 확장 3D 가중치 + Kinetics 미세 조정)이 필수적이다.
• 광류만으로도 그레이스케일 비디오와 비슷한 성능을 보이고 두 흐름을 결합하면 추가적인 향상이 나타난다.
• 깊은 3D CNN 프런트엔드는 LRW에서 얕은 3D + 깊은 2D 프런트엔드보다 우수하다.
• 단일 흐름 입력(그레이스케일 또는 흐름)이 효과적이지만, 이중 흐름 입력은 일관되게 결과를 개선한다.