[논문 리뷰] Lipreading with Long Short-Term Memory

Michael Wand, Jan Koutník외 1명|arXiv (Cornell University)|2016. 01. 29.

Speech and Audio Processing참고 문헌 23인용 수 37

한 줄 요약

이 논문은 피드포워드 및 장기 단기 기억(LSTM) 레이어를 조합한 딥 네ural 네트워크를 사용하여 원시 입술 영상에서 말한 단어를 분류하는 엔드 투 엔드 립리딩 시스템을 제안한다. 수작업 특징 추출을 생략한다. 모델은 GRID 코퍼스에서 79.6%의 단어 정확도를 달성하여 기존의 최고 성능 방법보다 11.6% 높으며, 시각적 말하기 인식에서 특징 학습과 시퀀스 모델링의 융합이 우수함을 입증한다.

ABSTRACT

Lipreading, i.e. speech recognition from visual-only recordings of a speaker's face, can be achieved with a processing pipeline based solely on neural networks, yielding significantly better accuracy than conventional methods. Feed-forward and recurrent neural network layers (namely Long Short-Term Memory; LSTM) are stacked to form a single structure which is trained by back-propagating error gradients through all the layers. The performance of such a stacked network was experimentally evaluated and compared to a standard Support Vector Machine classifier using conventional computer vision features (Eigenlips and Histograms of Oriented Gradients). The evaluation was performed on data from 19 speakers of the publicly available GRID corpus. With 51 different words to classify, we report a best word accuracy on held-out evaluation speakers of 79.6% using the end-to-end neural network-based solution (11.6% improvement over the best feature-based solution evaluated).

연구 동기 및 목표

• 수작업 특징 추출을 제거하고 원시 입술 영상에서부터 엔드 투 엔드로 특징을 학습하는 뉴럴 네트워크 기반 립리딩 시스템을 개발하는 것.
• 수작업 특징을 사용하는 전통적 파ip라인과 비교하여, LSTM 기반 시퀀스 분류기의 시각적 말하기 인식 성능을 평가하는 것.
• 특히 LSTMs를 포함한 순환 신경망이 입술 운동의 시간적 동역학을 효과적으로 모델링하여 단어 분류 성능을 향상시킬 수 있는지 확인하는 것.
• 특히 피드포워드 및 LSTM 레이어의 네트워크 아키텍처가 화자 종속 설정에서 인식 정확도에 미치는 영향을 평가하는 것.

제안 방법

• 모델은 하나의 완전 연결 피드포워드 레이어와 두 개의 LSTM 레이어(각각 128개 유닛)로 구성된 스택 구조를 사용하며, 51개 클래스의 단어 분류를 위해 소프트맥스 출력 레이어로 끝난다.
• 입력 데이터는 25 fps로 캡처된 영상 프레임에서 추출한 40×40 픽셀 회색조 영상으로, 사전 처리나 수작업 특징 엔지니어링 없이 그대로 사용된다.
• 과적합 방지를 위해 10 에포크 지연을 가진 조기 정지 기법을 사용하며, 백프로파게이션 스루 타임을 통한 학습을 수행한다. 학습률은 0.02로 설정된다.
• 가중치는 [-0.05, 0.05] 범위에서 균일 분포로 초기화되며, 최적화 과정에서 모멘텀을 사용하지 않는다.
• 시스템은 GRID 코퍼스를 대상으로 평가되며, 19명의 화자(학습용 10명, 평가용 10명)를 사용하고, 보류된 화자에 대해 단어 수준 정확도를 측정한다.
• 비교를 위해 HOG 및 Eigenlip 특징을 사용하는 SVM 분류기를 사용하는 전통적 파이프라인을 동일한 조건에서 평가한다.

실험 결과

연구 질문

• RQ1 LSTM 레이어를 포함한 엔드 투 엔드 딥 네럴 네트워크가 수작업 특징에 의존하는 전통적 립리딩 시스템을 능가할 수 있는가?
• RQ2 동일한 입력 특징을 사용할 때, LSTM 기반 시퀀스 모델의 성능은 전통적인 SVM 분류기와 비교해 어떻게 되는가?
• RQ3 원시 픽셀 데이터를 사용하는 것과 엔지니어링된 특징(예: HOG, Eigenlips)을 사용하는 것이 립리딩 정확도에 어떤 영향을 미치는가?
• RQ4 왜 단일 문자 단어의 인식 정확도가 특히 낮은가? 시간적 동역학은 성능에 어떤 영향을 미치는가?

주요 결과

• LSTM 기반 립리딩 시스템은 보류된 평가 화자에서 79.6%의 단어 수준 정확도를 달성하였으며, 기존 최고의 전통적 방법(HOG + SVM)보다 11.6% 향상되었다.
• 혼동 행렬 분석 결과, 문자에 대한 정확도는 69.8%로 낮았고, 더 긴 단어는 93.4%로 훨씬 높아, 짧은 지속 시간과 시각적으로 유사한 문자들이 주요 오류 원인임을 확인하였다.
• 화자 7에서는 총 정확도 82.0%를 기록하였으며, 이는 비문자 단어에서 가장 높은 성능, 문자에서 가장 낮은 성능를 보였고, 모든 화자에서 동일한 경향을 보였다.
• 수작업 특징 추출 없이 원시 이미지 입력을 사용한 결과 성능이 향상되어, 엔드 투 엔드 학습이 수작업 특징보다 더 분류에 유용한 시공간 패턴을 더 잘 포착함을 시사한다.
• 피드포워드 레이어 대신 CNN을 사용한 실험은 성능 향상을 이끌지 못했으며, 이는 40×40 입력 크기가 이미 분류에 충분한 정보를 포함하고 있기 때문일 것이다.
• 결과적으로, 문자 시퀀스의 제한된 지속 시간(3–4 프레임)과 'p'와 'b'와 같은 음소 간의 높은 시각적 유사성 등이 인식 실패의 주요 요인임을 시사한다.