[논문 리뷰] A Cascade Sequence-to-Sequence Model for Chinese Mandarin Lip Reading

Ya Zhao, Rui Xu외 1명|arXiv (Cornell University)|2019. 08. 14.

Speech and Audio Processing참고 문헌 13인용 수 4

한 줄 요약

이 논문은 시각적 및 문법적 단서를 통해 어휘 음조를 명시적으로 모델링하는 캐스케이드 시퀀스-투-시퀀스 모델(CSSMCM)을 제안하며, 문장 수준의 인식 성능을 향상시킨다. 다중 모odal 어텐션을 통해 풀린, 음조, 문자 시퀀스를 동시에 예측함으로써 CSSMCM은 새로 수집한 CMLR 데이터셋에서 최신 기술 수준의 성능을 달성하였으며, 음조 모델링이 중국어 막내어 입술 읽기에서 문자 오류율을 크게 감소시킴을 입증한다.

ABSTRACT

Lip reading aims at decoding texts from the movement of a speaker's mouth. In recent years, lip reading methods have made great progress for English, at both word-level and sentence-level. Unlike English, however, Chinese Mandarin is a tone-based language and relies on pitches to distinguish lexical or grammatical meaning, which significantly increases the ambiguity for the lip reading task. In this paper, we propose a Cascade Sequence-to-Sequence Model for Chinese Mandarin (CSSMCM) lip reading, which explicitly models tones when predicting sentence. Tones are modeled based on visual information and syntactic structure, and are used to predict sentence along with visual information and syntactic structure. In order to evaluate CSSMCM, a dataset called CMLR (Chinese Mandarin Lip Reading) is collected and released, consisting of over 100,000 natural sentences from China Network Television website. When trained on CMLR dataset, the proposed CSSMCM surpasses the performance of state-of-the-art lip reading frameworks, which confirms the effectiveness of explicit modeling of tones for Chinese Mandarin lip reading.

연구 동기 및 목표

• 영어와 달리 음조 차이가 없는 영향을 받는 중국어 막내어 입술 읽기에서 발생하는 높은 모호성 문제를 해결하기 위해.
• 시각적 단서, 풀린, 음조를 동시에 모델링하는 다중 모달 입술 읽기 프레임워크를 개발하여 문장 수준의 인식 성능을 향상시키기 위해.
• 연구 및 평가를 위해 사용할 수 있는 대규모 자연주의 중국어 막내어 입술 읽기 데이터셋(CMLR)을 수집하고 공개하기 위해.
• 명시적 음조 모델링이 막내어 입술 읽기에서 문자 수준의 정확도를 향상시킨다는 것을 입증하기 위해.
• 문장 수준의 인식 작업에서 기존의 엔드 투 엔드 및 두 단계 모델을 초월하는 성능을 달성하기 위해.

제안 방법

• 세 단계 캐스케이드 아키텍처: 첫 번째 단계에서 영상에서 풀린 시퀀스를 예측하고, 두 번째 단계에서 영상과 풀린 입력을 사용해 음조 시퀀스를 예측하며, 마지막 단계에서 세 입력 모두를 사용해 문자 시퀀스를 예측한다.
• 음조 예측 서브넷에서 영상 프레임과 풀린 시퀀스를 동시에 고려하는 이중 어텐션 메커니즘을 도입한다.
• 최종 서브넷에서 시각적, 풀린, 음조 표현을 통합하기 위해 트리플릿 어텐션 메커니즘을 사용한다.
• 모든 세 서브넷을 종합적으로 최적화하기 위해 엔드 투 엔드 공동 미세조정을 수행한다.
• 디코딩 복잡도를 줄이고 모델링 안정성을 향상시키기 위해 풀린 문자가 아닌 음절을 풀린 단위로 사용한다.
• 이전 언어학적 연구에서 밝혀진 바와 같이, 음조 생성과 관련된 눈에 보이는 발음 기능을 기반으로 목과 머리 움직임을 음조 예측의 시각적 단서로 활용한다.

실험 결과

연구 질문

• RQ1 음소적 음조를 명시적으로 모델링하면 막내어와 같이 음조 기반 언어에서 문장 수준의 입술 읽기 성능이 향상되는가?
• RQ2 시각적, 풀린, 음조 정보의 통합이 문자 시퀀스 예측 정확도에 어떤 영향을 미치는가?
• RQ3 풀린 문자가 아닌 음절을 입력 단위로 사용할 경우, 시퀀스-투-시퀀스 입술 읽기 모델의 강건성과 정확도가 향상되는가?
• RQ4 캐스케이드 모델의 어텐션 메커니즘은 영상 프레임을 예측된 풀린, 음조, 문자와 어떻게 정렬하는가?
• RQ5 모델의 실패 사례는 주로 음운이 유사한 동음이의어나 서로 다른 음조를 가진 유사한 문자에서 기인하는가?

주요 결과

• CSSMCM는 최신 기술 수준의 모델보다 낮은 문자 오류율을 기록하여, 막내어 입술 읽기에서 명시적 음조 모델링의 효과성을 확인한다.
• 기존 모델이 음조 오분류로 실패하는 상황에서도, '实惠'(저렴한)와 '事会'(기회)처럼 음운이 유사하지만 음조가 다른 동음이의어를 성공적으로 예측한다.
• 어텐션 시각화 결과, 모델이 관련 영상 프레임에 집중하며, 향후 음조 정보를 언어 모델로 활용해 문자 예측을 보완함을 확인할 수 있다.
• 특히 입술 자세가 동일한 음조 차이가 있는 경우, WAS와 LipCH-Net을 모두 능가하는 성능을 보인다.
• 실패 사례의 주요 원인은 동음이의어 또는 동일한 종성(말소리)을 가진 문자로, 고도의 모델링을 사용해도 여전히 음조 모호성 문제에 직면해 있음을 시사한다.
• 뉴스 방송에서 수집한 10만 개 이상의 자연문장이 포함된 CMLR 데이터셋은 신뢰할 수 있는 평가와 향후 벤치마킹을 가능하게 한다.