[논문 리뷰] Visual Speech Language Models

Helen L. Bear|arXiv (Cornell University)|2018. 01. 01.

Speech and Audio Processing참고 문헌 8인용 수 2

한 줄 요약

이 논문은 RMAV 데이터셋을 사용하여 립리딩 시스템에서 시각적 발음 단위(비세임), 음소, 단어 단위의 언어 모델 성능을 평가한다. 결과적으로 음소 기반 언어 모델이 비세임 기반 모델보다 유의미하게 뛰어나며, 단어 기반 모델은 대규모 데이터가 없으면 효과적이지 않다. 음소 단위는 정확도와 해석 가능성의 최적의 균형을 제공한다.

ABSTRACT

Language models (LM) are very powerful in lipreading systems. Language models built upon the ground truth utterances of datasets learn grammar and structure rules of words and sentences (the latter in the case of continuous speech). However, visual co-articulation effects in visual speech signals damage the performance of visual speech LM's as visually, people do not utter what the language model expects. These models are commonplace but while higher-order N-gram LM's may improve classification rates, the cost of this model is disproportionate to the common goal of developing more accurate classifiers. So we compare which unit would best optimize a lipreading (visual speech) LM to observe their limitations. We compare three units; visemes (visual speech units) \cite{lan2010improving}, phonemes (audible speech units), and words.

연구 동기 및 목표

• 다양한 언어 단위—비세임, 음소, 단어—가 시각적 발음 언어 모델 성능에 미치는 영향을 조사하기 위해.
• 립리딩 시스템 성능을 저하시키는 시각적 공음화 효과 문제를 해결하기 위해.
• 정확도와 해석 가능성 향상을 위해 효과적인 시각적 발음 언어 모델을 구축하기 위한 최적의 단위를 규명하기 위해.
• 고차원 언어 모델이 시각적 발음 단위의 한계를 보완할 수 있는지 평가하기 위해.
• 미래의 립리딩 시스템 개발을 안내하기 위해, 시각적 발음 인식에서 언어 모델링에 가장 강력한 단위를 특정하기 위해.

제안 방법

• RMAV 음성-시각적 발음 데이터셋의 12명의 화자에서 추출한 활동형 모양 모델 특징을 사용하여 HTK 툴킷을 기반으로 전통적인 립리딩 시스템을 구축하였다.
• 분류기 단위로 비세임(화자에 의존), 음소(IPA 기반), 단어(기본 진실값)를 사용한 세 가지 별도의 레이블링 체계를 적용하였다.
• 비세임, 음소, 단어의 세 단위 기반 언어 모델을 구축하고, 이를 다양한 분류기 단위와 조합하여 디코딩하였다.
• 분류에 히든 마르코프 모델(HMM)을 적용하였으며, 언어 모델은 후처리 단계의 디코딩에서 사용되어 단어 정확도를 향상시켰다.
• 12명의 화자 전반에 걸쳐 단어 정확도(Cw)를 사용하여 성능을 평가하였으며, 표준 오차를 함께 보고하였다.
• 분류기 단위와 언어 모델 단위의 조합을 비교하여 각 단위 선택이 인식 정확도에 미치는 영향을 분리 분석하였다.

실험 결과

연구 질문

• RQ1 비세임, 음소, 단어 단위는 시각적 발음 언어 모델에서 단어 정확도(Cw) 측면에서 어떻게 비교되는가?
• RQ2 시각적 발음과 청각적 발음 간의 불일치에도 불구하고, 음소 기반 언어 모델이 비세임 기반 모델보다 성능을 향상시키는가?
• RQ3 왜 단어 기반 분류기는 시각적 발음 인식에서 성능이 열악한가? 어떤 데이터 조건에서 이들이 유의미해질 수 있는가?
• RQ4 단어 기반 언어 모델은 비세임이나 음소와 같은 열악한 분류기 단위를 보완할 수 있는가?
• RQ5 분류기 단위와 언어 모델 단위의 어떤 조합이 가장 강력하고 해석 가능한 립리딩 시스템을 제공하는가?

주요 결과

• 비세임 기반 언어 모델은 0.02 ± 0.0063의 최저 단어 정확도를 기록하여, 유사음소 혼동과 시각적 공음화 효과로 인한 낮은 성능을 보였다.
• 음소 기반 언어 모델은 비세임 또는 음소 분류기와 조합했을 때 단어 정확도를 0.19 ± 0.0036으로 향상시켜, 비세임 기반 모델 대비 통계적으로 유의미한 성능 향상을 보였다.
• 비세임 분류기와 조합했을 때 단어 기반 분류기는 평균 Cw가 0.09로 떨어졌으며, 이는 1000개 이상의 클래스를 포함하는 큰 단어 공간에서 각 클래스의 학습 샘플 수가 부족했기 때문이다.
• 단어 기반 언어 모델과 조합했을 때 음소 기반 분류기는 Cw 0.20 ± 0.0043를 기록하여 12명의 화자 중 5명의 경우 비세임 분류기보다 뛰어난 성능을 보였으며, 이는 단어 수준 언어 모델링의 강력함을 입증한다.
• 음소 기반 분류기와 단어 기반 언어 모델의 조합이 평균 Cw 0.20을 기록하여 가장 높은 성능을 보였으며, 이는 단어 수준 언어 모델이 교차 발음 공간 번역 오류를 보완할 수 있음을 시사한다.
• 비록 정확도는 높지만 음소 기반 출력은 직접적으로 해석하기 어려우므로, 충분한 학습 데이터가 확보된 경우 실용적 구현에 단어 기반 모델이 선호된다.