[논문 리뷰] Multi-Grained Spatio-temporal Modeling for Lip-reading

Chenhao Wang|arXiv (Cornell University)|2019. 08. 30.

Speech and Audio Processing참고 문헌 26인용 수 40

한 줄 요약

본 논문은 학습 가능한 공간 주의 융합이 있는 두-브랜치 프런트엔드(세밀한 특징의 2D ResNet-34와 중간-세분의 특징을 갖는 3D-DenseNet)와 forward 입력 주의가 가미된 두 층 Bi-ConvLSTM으로 단어 수준 lip-reading에서 LRW와 LRW-1000에서 최첨단 성능을 달성한다.

ABSTRACT

Lip-reading aims to recognize speech content from videos via visual analysis of speakers' lip movements. This is a challenging task due to the existence of homophemes-words which involve identical or highly similar lip movements, as well as diverse lip appearances and motion patterns among the speakers. To address these challenges, we propose a novel lip-reading model which captures not only the nuance between words but also styles of different speakers, by a multi-grained spatio-temporal modeling of the speaking process. Specifically, we first extract both frame-level fine-grained features and short-term medium-grained features by the visual front-end, which are then combined to obtain discriminative representations for words with similar phonemes. Next, a bidirectional ConvLSTM augmented with temporal attention aggregates spatio-temporal information in the entire input sequence, which is expected to be able to capture the coarse-gained patterns of each word and robust to various conditions in speaker identity, lighting conditions, and so on. By making full use of the information from different levels in a unified framework, the model is not only able to distinguish words with similar pronunciations, but also becomes robust to appearance changes. We evaluate our method on two challenging word-level lip-reading benchmarks and show the effectiveness of the proposed method, which also demonstrate the above claims.

연구 동기 및 목표

• 동형 음소(homophemes)와 화자/스타일 변화에 대한 강건한 lip-reading의 동기를 제시한다.
• 프레임당 미세한 특징과 중간 규모의 짧은 기간 동역학을 모두 포착한다.
• 학습 가능한 공간 주의 메커니즘으로 다중-세분 특징을 융합한다.

제안 방법

• 2D ResNet-34 분기를 사용하여 프레임당 세밀한 특징을 추출한다.
• 3D-DenseNet(52-layer) 분기를 사용하여 중간-세분의 단기 시공-동역학 패턴을 포착한다.
• 학습 가능한 1x1x1 컨볼루션으로 적응적 공간 주의 마스크를 통해 분기 융합을 수행한다.
• forward 입력 주의가 보강된 양방향 ConvLSTM 두 층으로 융합된 특징을 처리한다.
• 개별 분기를 먼저 사전 학습한 뒤 엔드-투-엔드로 학습한다.
• LRW 및 LRW-1000 단어 수준 lip-reading 벤치마크에서 평가한다.

실험 결과

연구 질문

• RQ1 정밀한 2D 프레임 특징과 중간-세분 3D 시공-동역학 특징을 결합하면 단어 수준 입술 읽기 성능이 향상될까?
• RQ2 학습 가능한 공간 주의 융합이 간단한 연결보다 다중-세분 특징을 더 잘 통합하는가?
• RQ3 forward 입력 주의가 있는 ConvLSTM이 화자와 조건에 걸친 입술 읽기를 위한 장기 시공-동역학 모델링을 개선하는가?

주요 결과

• LRW에서 제안된 모델은 83.34% 정확도를 달성하여 여러 베이스라인을 능가한다.
• LRW-1000에서 제안된 모델은 36.91% 정확도를 달성한다.
• Bi-ConvLSTM를 사용하는 Two-branch가 Bi-GRU를 사용하는 두-브랜치보다 더 우수하며 forward 입력 주의가 추가 성능을 더한다.
• 학습 가능한 공간 주의 마스크를 통한 융합이 단순 융합보다 더 나은 표현을 생성한다.
• forward 입력 주의가 있는 Bi-ConvLSTM은 프레임 중요도와 장기 의존성을 더 잘 처리한다.
• 재현된 베이스라인과 비교하여 본 방법은 데이터셋 전반에 걸쳐 일관된 향상을 보인다.