[논문 리뷰] Comparing phonemes and visemes with DNN-based lipreading

Kwanchiva Thangthai, Helen L. Bear외 1명|arXiv (Cornell University)|2018. 05. 08.

Speech and Audio Processing인용 수 16

한 줄 요약

이 논문은 TCD-TIMIT 코퍼스에서 DNN 기반 입술 읽기 시스템에서 음소(38개 단위)와 시보음(13개 단위)을 비교하며, 하이브리드 DNN-HMM 프레임워크와 WFST 디코딩을 사용한 DCT 및 Eigenlips를 시각적 특징 표현으로 활용한다. 음소 기반 시스템은 단위 수준 정확도가 낮음에도 불구하고 단어 수준 정확도가 유의미하게 높아(48.74%) 음소가 어휘 수준 인식에 더 효과적임을 시사하며, 이는 발음 사전 내 동음이이성어의 혼동이 줄어들기 때문이다.

ABSTRACT

There is debate if phoneme or viseme units are the most effective for a lipreading system. Some studies use phoneme units even though phonemes describe unique short sounds; other studies tried to improve lipreading accuracy by focusing on visemes with varying results. We compare the performance of a lipreading system by modeling visual speech using either 13 viseme or 38 phoneme units. We report the accuracy of our system at both word and unit levels. The evaluation task is large vocabulary continuous speech using the TCD-TIMIT corpus. We complete our visual speech modeling via hybrid DNN-HMMs and our visual speech decoder is a Weighted Finite-State Transducer (WFST). We use DCT and Eigenlips as a representation of mouth ROI image. The phoneme lipreading system word accuracy outperforms the viseme based system word accuracy. However, the phoneme system achieved lower accuracy at the unit level which shows the importance of the dictionary for decoding classification outputs into words.

연구 동기 및 목표

• 음소 또는 시보음 중 어떤 단위가 DNN 기반 입술 읽기 시스템에서 더 효과적인지 평가하기 위해.
• 시각적 특징 표현 방식(DCT 대비 Eigenlips)이 입술 읽기 성능에 미치는 영향을 평가하기 위해.
• DNN-HMM 하이브리드 모델링과 WFST 디코딩이 단어 수준 정확도 향상에 기여하는 방식을 조사하기 위해.
• 음소 클래스 수가 증가함에 따라 분류 성능은 떨어지더라도 단어 수준 성능은 향상되는가를 판단하기 위해.
• DNN와 GMM을 사용한 공음화 모델링이 인식 정확도에 미치는 영향을 조사하기 위해.

제안 방법

• 입술 읽기 시스템은 GMM 대신 DNN를 사용하여 시각적 언어 모델링을 수행하는 하이브리드 DNN-HMM 아키텍처를 사용한다.
• 시각적 특징은 입술 영역(ROI) 이미지에서 이산코사인변환(DCT)과 Eigenlips를 통해 추출된다.
• 디코딩에는 가중치가 부여된 유한상태전이기계(WFST)를 사용하며, 음성 모델과 언어 모델을 통합한다.
• DNN는 시각적 특징에서 음소 또는 시보음을 예측하도록 훈련되며, 음소 및 시보음 단위는 TCD-TIMIT 코퍼스에서 유도된다.
• 두 가지 훈련 설정(발화자 종속 및 발화자 독립)을 사용하여 시스템의 견고성 평가를 수행한다.
• 모델 간 성능 비교를 위해 단위 수준 및 단어 수준에서 오분류 행렬과 정확도 지표를 계산한다.

실험 결과

연구 질문

• RQ1 DNN 기반 입술 읽기 시스템에서 음소와 시보음을 분석 단위로 사용할 경우, 어느 것이 더 우수한 성능을 보이는가?
• RQ2 DCT와 Eigenlips 시각적 특징은 입술 읽기 정확도 측면에서 어떻게 비교되는가?
• RQ3 단위 분류 성능 향상이 미미함에도 불구하고 DNN가 단어 수준 정확도 향상에 더 크게 기여하는 이유는 무엇인가?
• RQ4 발음 사전 내 동음이이성어 수의 감소가 시보음 기반 시스템의 단어 수준 성능에 미치는 영향은 어느 정도인가?
• RQ5 DNN가 공음화를 더 잘 모델링할 수 있다는 점이 DNN가 GMM보다 입술 읽기 성능에서 뛰어난 이유일 수 있는가?

주요 결과

• 음소 기반 입술 읽기 시스템은 Eigenlips 특징을 사용하여 48.74%의 단어 정확도를 달성하였으며, 이는 시보음 기반 시스템보다 유의미하게 뛰어나다.
• 시보음 기반 시스템은 클래스 수가 적어 단위 수준 정확도가 더 높았으나(31.10%), 이는 단어 수준 성능 향상으로 이어지지 않았다(28.08% 대비).
• Eigenlips 특징을 사용할 경우 DNN는 GMM 기반 베이스라인 대비 단어 정확도를 14.87%포인트 향상시켰다(33.87% → 48.74%).
• 모든 설정에서 Eigenlips 특징이 DCT 특징보다 우수했으며, DNN와 함께 사용했을 경우 48.74%의 단어 정확도를 기록한 반면, DCT는 37.40%에 머물렀다.
• DNN는 단위 정확도 향상보다 단어 정확도 향상이 더 크게 이루어져 공음화 효과의 보다 우수한 모델링이 가능했음을 시사한다.
• SD 및 SI 설정 간 성능 격차가 DNN 기반 시스템에서 더 작아져, 발화자 독립성 향상이 이루어졌음을 나타낸다.