[논문 리뷰] LipNet: End-to-End Sentence-level Lipreading

Yannis Assael, Brendan Shillingford외 2명|arXiv (Cornell University)|2016. 11. 05.

Speech and Audio Processing참고 문헌 49인용 수 189

한 줄 요약

LipNet은 구강 영상 프레임의 시퀀스를 문장 수준 텍스트로 매핑하는 최초의 엔드-투-엔드 모델로, 공간-시간적 CNN, Bi-GRUs, 그리고 CTC 손실을 사용하여 GRID에서 최첨단 성과를 달성한다.

ABSTRACT

Lipreading is the task of decoding text from the movement of a speaker's mouth. Traditional approaches separated the problem into two stages: designing or learning visual features, and prediction. More recent deep lipreading approaches are end-to-end trainable (Wand et al., 2016; Chung & Zisserman, 2016a). However, existing work on models trained end-to-end perform only word classification, rather than sentence-level sequence prediction. Studies have shown that human lipreading performance increases for longer words (Easton & Basala, 1982), indicating the importance of features capturing temporal context in an ambiguous communication channel. Motivated by this observation, we present LipNet, a model that maps a variable-length sequence of video frames to text, making use of spatiotemporal convolutions, a recurrent network, and the connectionist temporal classification loss, trained entirely end-to-end. To the best of our knowledge, LipNet is the first end-to-end sentence-level lipreading model that simultaneously learns spatiotemporal visual features and a sequence model. On the GRID corpus, LipNet achieves 95.2% accuracy in sentence-level, overlapped speaker split task, outperforming experienced human lipreaders and the previous 86.4% word-level state-of-the-art accuracy (Gergen et al., 2016).

연구 동기 및 목표

• 중간의 단어 수준 단계 없이 비디오에서 직접 문장 수준 텍스트를 예측하기 위한 자동 입술 읽기를 촉진한다.
• 공간-시간적 시각 특징과 시퀀스 모델링을 함께 학습하는 엔드-투-엔드 아키텍처를 개발한다.
• 공개된 문장 수준 입술 읽기 데이터세트(GRID)에서 효과를 입증하고 인간 성능과 비교한다.
• 모델이 어디에 주의를 기울이는지와 비즈믹스(visemes)가 어떻게 혼동되는지 이해하기 위해 학습된 표현을 분석한다.

제안 방법

• 공간-시간적 컨볼루션 신경망(STCNNs)으로 비디오 프레임에서 모션 인지적 시각 특징을 추출한다.
• 양방향 GRU(Bi-GRUs)를 도입하여 시간 정보를 집계하고 시퀀스 출력을 모델링한다.
• 각 타임 스텝에서 선형층과 소프트맥스(softmax)를 적용해 토큰 분포를 생성한다.
• 정렬되지 않은 가변 길이 시퀀스를 다루기 위해 연결원-시간 분류(CTC) 손실로 엔드-투-엔드로 학습한다.
• CTC 빔 탐색을 통해 근사 최대 우도 예측을 생성해 평가한다.

실험 결과

연구 질문

• RQ1 엔드-투-엔드 모델이 정렬 없이 비디오에서 직접 문장 수준 입술 읽기 시퀀스를 예측할 수 있는가?
• RQ2 공간-시간적 특징과 시간적 집계가 단어 수준이나 공간만 모델에 비해 문장 수준 입술 읽기에 향상시킬 수 있는가?
• RQ3 모델이 미확인 화자에서 문장 수준 입술 읽기 작업에 얼마나 잘 일반화되는가?
• RQ4 유효성 맵(saliency maps)과 비즈미 분석은 LipNet의 학습 표현에 대해 무엇을 보여주는가?

주요 결과

• LipNet은 겹치는 화자 구분에서 GRID에서 95.2%의 문장 수준 정확도를 달성한다.
• LipNet은 미확인 화자에서 88.6%의 정확도를 달성하여 일반화가 양호함을 시사한다.
• LipNet은 GRID에서 난청 보조 기준선보다 크게 우수하며(평균 WER: 미확인 ~11.4%, 겹치는 경우 4.8%), 일반적으로 더 나은 성능을 보인다.
• STCNNs와 Bi-GRUs가 2D 컨볼루션 기반 기준선을 능가하며 공간-시간적 특징 학습의 중요성을 보여준다.
• CTC 기반의 엔드-투-엔드 학습은 명시적 정렬을 필요로 하지 않으며 강한 성능을 보이다(NoLM 기준선은 언어 모델링의 이점을 시사한다).
• 주목도 분석은 LipNet이 음소적으로 관련된 영역에 주의함을 보여주고, 대부분의 오류가 비즈미스 그룹 내에서 발생한다.