[논문 리뷰] Finding phonemes: improving machine lip-reading

Helen L. Bear, Richard Harvey외 1명|arXiv (Cornell University)|2017. 10. 03.

Speech and Audio Processing참고 문헌 7인용 수 5

한 줄 요약

이 논문은 음소 인식에서의 혼동 행렬을 기반으로 한 데이터 기반의 음성 말하기 인식을 위한 최적의 비세미 단위를 도출하기 위해 발화자에 따라 달라지는 방법을 제안한다. LiLIR 데이터셋과 HMM 기반 분류기를 사용하여, 단어 인식 성능이 종종 전통적인 비세미 집합보다 음소 수준의 분류기에서 더 뛰어나며, 음소와 비세미 사이의 중간 단위가 가장 좋은 성능을 낸다는 것을 입증한다. 이는 비세미가 최적이라는 기존의 통념에 도전한다.

ABSTRACT

In machine lip-reading there is continued debate and research around the correct classes to be used for recognition. In this paper we use a structured approach for devising speaker-dependent viseme classes, which enables the creation of a set of phoneme-to-viseme maps where each has a different quantity of visemes ranging from two to 45. Viseme classes are based upon the mapping of articulated phonemes, which have been confused during phoneme recognition, into viseme groups. Using these maps, with the LiLIR dataset, we show the effect of changing the viseme map size in speaker-dependent machine lip-reading, measured by word recognition correctness and so demonstrate that word recognition with phoneme classifiers is not just possible, but often better than word recognition with viseme classifiers. Furthermore, there are intermediate units between visemes and phonemes which are better still.

연구 동기 및 목표

• 비세미 기반 분류가 시각적 단독 음성 인식에서 최적인지, 아니면 음소와 비세미 사이의 중간 단위가 더 뛰어난 성능을 낼 수 있는지 조사하는 것.
• 발화자에 따라 달라지는 체계적인 방법을 개발하여 음소 혼동 데이터에서 맞춤형 비세미 맵을 생성함으로써, 다양한 비세미 집합 크기 간의 비교를 통제 가능하게 하는 것.
• 2개에서 45개의 비세미까지 다양한 수의 시각적 단위를 사용한 단어 인식 정확도를 평가하여, 각 발화자에게 최적의 비세미 클래스 수와 구조를 특정하는 것.
• 비세미가 입술 읽기에서 최적의 중간 표현이라는 기존의 가정을 정량적 비교를 통해 도전하기 위해 음소 수준 및 비세미 수준의 분류기 성능을 비교하는 것.

제안 방법

• 방법은 10겹 교차검증과 HTK 기반 HMM을 사용한 발화자 특화 음소 인식으로 시작하여, 각 발화자당 200개의 발화에서 혼동 행렬을 생성한다.
• 혼동 행렬은 열 정규화되어, 진짜 음소 p_i 가 잘못 분류되어 p̂_j 로 판단될 가능도 Pr{p_i | p̂_j} 를 구한다.
• 탐욕적 클러스터링 알고리즘이 가장 혼동이 많은 두 음소(가장 높은 q = Pr{p_r|p̂_s} + Pr{p_s|p̂_r} 인 쌍)를 새로운 비세미 클래스로 융합하고, 최소 2개의 클래스만 남을 때까지 반복한다.
• 모음과 자음은 별도로 클러스터링하여 발음 특성의 차이를 유지하고, 비세미 그룹이 음운적으로 일관성을 가지도록 한다.
• 각 중간 클러스터링 단계(45개에서 2개 비세미로)는 새로운 비세미 맵을 생성하며, 이를 바탕으로 HMM 기반의 단어 인식 모델을 재학습한다.
• 성능은 단어 인식 정확도로 측정되며, 학습 데이터의 분산에 따라 정규화되어, 다양한 비세미 집합 크기의 영향을 비교할 수 있도록 한다.

실험 결과

연구 질문

• RQ1 입술 읽기에서 음소 수준의 분류가 기존의 비세미 기반 분류보다 성능이 뛰어나지 않는가?
• RQ2 음소와 비세미 사이의 최적의 시각적 단위 수가 단어 인식 정확도를 최대화하는가?
• RQ3 기존의 비세미 집합(예: Lee 집합, Jeffers 집합)이 개별 발화자에게 최적의 구성인가?
• RQ4 비세미 집합 크기가 변할 때, 동음어의 수와 단위당 충분한 학습 데이터 부족이 인식 성능에 어떤 영향을 미치는가?
• RQ5 혼동 행렬에서 유도된 발화자 특화 비세미 맵이 고정된, 다수의 발화자에 공통 적용되는 비세미 정의를 능가하는가?

주요 결과

• LiLIR 데이터셋의 12명의 모든 발화자에게 대해 음소 수준의 분류기로 인식한 성능이 비세미 수준의 분류기보다 유의미하게 뛰어나다.
• 각 발화자에게 최적의 시각적 단위 수는 8개에서 음소 수의 범위 사이에 위치하며, 기존의 비세미 집합(예: 10~20개 비세미)과 일치하지는 않는다.
• 성능 곡선은 비단조화적이다: 10개 이하로 줄어들면 동음어 수 증가로 인해 정확도가 급격히 떨어지고, 높은 비세미 수에서는 데이터 희소성과 낮은 시각적 구별성으로 인해 다시 떨어진다.
• 12명의 발화자 중 3명의 경우 최고 성능을 낸 비세미 집합 크기는 10~20 범위에 속하지만, 이는 통계적으로 우연을 넘어서는 성능은 아니며, 따라서 최적 크기가 통일된 것은 아님을 시사한다.
• 최고 성능을 낸 비세미 맵은 발화자에 따라 달라지며, 발화자 간 일관된 패턴이 없어, 다수의 발화자에 공통 적용되는 비세미 집합은 최적일 가능성이 낮다.
• 특정 비세미 클래스의 융합(예: SP01에서 /s/와 /r/)이 인식 성능을 크게 향상시키는 것을 확인하여, 최적의 비세미 그룹화가 매우 개인화되어 있음을 확인한다.