[논문 리뷰] LCANet: End-to-End Lipreading with Cascaded Attention-CTC

Kai Xu, Dawei Li외 2명|arXiv (Cornell University)|2018. 03. 13.

Speech and Audio Processing인용 수 6

한 줄 요약

LCANet는 표준 CTC의 조건부 독립성 제한을 극복하기 위해 계단식 어텐션-CTC 디코더를 사용하는 엔드 투 엔드 리핑 모델을 제안한다. 3D-CNN, 하이웨이 네트워크, 양방향 GRU를 결합하여 시공간 특징을 추출한다. GRID 데이터셋에서 1.3% CER 및 2.9% WER를 달성하여 이전 최고 성능 방법 대비 12.3% 상대적 향상률을 기록한다.

ABSTRACT

Machine lipreading is a special type of automatic speech recognition (ASR) which transcribes human speech by visually interpreting the movement of related face regions including lips, face, and tongue. Recently, deep neural network based lipreading methods show great potential and have exceeded the accuracy of experienced human lipreaders in some benchmark datasets. However, lipreading is still far from being solved, and existing methods tend to have high error rates on the wild data. In this paper, we propose LCANet, an end-to-end deep neural network based lipreading system. LCANet encodes input video frames using a stacked 3D convolutional neural network (CNN), highway network and bidirectional GRU network. The encoder effectively captures both short-term and long-term spatio-temporal information. More importantly, LCANet incorporates a cascaded attention-CTC decoder to generate output texts. By cascading CTC with attention, it partially eliminates the defect of the conditional independence assumption of CTC within the hidden neural layers, and this yields notably performance improvement as well as faster convergence. The experimental results show the proposed system achieves a 1.3% CER and 3.0% WER on the GRID corpus database, leading to a 12.3% improvement compared to the state-of-the-art methods.

연구 동기 및 목표

• 표준 CTC의 출력 기호 간 조건부 독립성 가정으로 인한 제약을 해결하기 위해.
• 장거리 문맥 모델링을 통합하여 도전적인 실생활 리핑 데이터에서 성능을 향상시키기 위해.
• 하이브리드 어텐션-CTC 디코딩 기법을 통해 학습 수렴 속도를 가속화하기 위해.
• 인간과 표준 모델이 어려워하는 비세미 수준의 차이를 모델링하는 데에 계단식 어テン션-CTC의 효과를 입증하기 위해.
• 기준 데이터셋에서 인간 리핑자보다 뛰어난 성능을 보이는 강력한 엔드 투 엔드 시각 전용 리핑 시스템을 제공하기 위해.

제안 방법

• 에코더는 비디오 프레임에서 시공간 특징을 추출하기 위해 스택드 3D 컨volution 신경망(3D-CNN)을 사용한다.
• 3D-CNN 위에 하이웨이 네트워크 레이어를 스택하여 더 깊은 네트워크 학습과 개선된 기울기 흐름을 가능하게 한다.
• 양방향 GRU를 적용하여 시간 방향의 전방 및 후방 양방향 장기 의존성을 포착한다.
• 계단식 어텐션-CTC 디코더는 어텐션 메커니즘을 통해 관련 에코더 상태에 주목함으로써 CTC의 국소적 초점 문제를 완화하고 조건부 독립성에 대한 의존도를 감소시킨다.
• 디코더는 단일 CTC 손실로 훈련되며, 이는 단조적 정렬을 안내하지만 어텐션은 문맥 모델링을 향상시킨다.
• 모델은 오직 정렬된 얼굴 코어에서 온 시각 입력만을 사용하여 엔드 투 엔드로 훈련된다. 음성은 사용하지 않는다.

실험 결과

연구 질문

• RQ1 계단식 어텐션-CTC 디코더는 CTC의 조건부 독립성 가정 영향을 줄임으로써 엔드 투 엔드 리핑 성능 향상에 기여할 수 있는가?
• RQ2 하이웨이 네트워크와 양방향 GRU의 통합은 리핑 모델의 특징 표현에 어떤 영향을 미치는가?
• RQ3 제안된 아키텍처는 표준 CTC나 어텐션 전용 모델 대비 더 빠른 수렴을 달성하는가?
• RQ4 모델은 /p/와 /b/와 같이 시각적으로 유사한 비세미 간 혼동을 어느 정도 줄이는가?
• RQ5 어텐션을 통해 장거리 시간적 문맥을 활용함으로써 야생 데이터에 더 잘 일반화되는가?

주요 결과

• LCANet는 GRID 코퍼스에서 1.3% 문자 오류율(CER)과 2.9% 단어 오류율(WER)을 달성하여 이전 최고 성능 방법 대비 12.3% 상대적 향상률을 기록한다.
• 모델은 리프넷보다 수렴 속도가 뚜렷이 빠르며, 훈련 14 에포크와 검증 20 에포크 만에 손실 4에 도달하는 반면, 리프넷은 각각 38과 40 에포크가 소요된다.
• 하이웨이 네트워크의 포함으로 CER는 0.4% 향상되고 WER는 1.1% 향상된다.
• 어텐션 메커니즘을 제거하면 성능이 뚜렷이 저하되며, 이는 장기 의존성 모델링에서 어텐션의 핵심적 역할을 확인한다.
• 계단식 어텐션-CTC 모델은 순수 CTC 및 순수 어텐션 기반 모델보다 우수한 성능을 보이며, 두 메커니즘의 조합이 유의미한 이점을 제공함을 입증한다.
• 혼동 행렬 분석 결과, 모델은 유사한 비세미 간 오분류를 효과적으로 줄이며, 비세미 클래스 V와 D 간에만 약간의 불확실성이 존재함을 보여주어 미세한 입술 움직임을 강력하게 구분함을 시사한다.