[논문 리뷰] Speaker-independent machine lip-reading with speaker-dependent viseme classifiers

Helen L. Bear, Stephen Cox외 1명|arXiv (Cornell University)|2015. 01. 01.

Speech and Audio Processing인용 수 6

한 줄 요약

이 논문은 발화자 독립적 기계적 입술 읽기 기반으로 발화자 독립적 비세미 분류기를 사용하여 제안하며, 개인적 차이가 있음에도 불구하고 시각적 언어 단위(비세미)가 대부분의 발화자 간에 일관되게 유지됨을 입증한다. 발화자별로 음소 혼동 행렬에서 발화자 특화 비세미 지도를 구성하고, 다양한 발화자 간에 테스트한 결과, 인식 성능 저하의 원인이 잘못된 비세미 매핑 때문이 아니라, 일치하지 않는 발화자에 대해 HMM 학습이 부적절했기 때문임을 발견하였다. 이는 발화자 간에 보편적인 비세미 레퍼토리가 존재함을 시사한다.

ABSTRACT

In machine lip-reading, which is identification of speech from visual-only information, there is evidence to show that visual speech is highly dependent upon the speaker [1]. Here, we use a phoneme-clustering method to form new phoneme-to-viseme maps for both individual and multiple speakers. We use these maps to examine how similarly speakers talk visually. We conclude that broadly speaking, speakers have the same repertoire of mouth gestures, where they differ is in the use of the gestures.

연구 동기 및 목표

• 시각적 단일 음성 인식에서 비세미 매핑이 발화자 간으로 일반화될 수 있는지 조사하기 위해.
• 다른 발화자 간 입술 읽기에서 성능 저하가 잘못된 비세미 매핑 때문인지, 일치하지 않는 학습 데이터 때문인지 규명하기 위해.
• 발화자 독립적 인식을 달성하기 위해 발화자 독립적 비세미 분류기의 효과성을 평가하기 위해.
• 음소 혼동 행렬을 사용하여 다양한 발화자 간 비세미 지도의 안정성과 유사성 평가하기 위해.

제안 방법

• 발화자별 음소 인식 결과에서 유도된 음소 혼동 행렬을 사용하여 발화자 독립적 비세미 지도를 구성한다.
• 음소는 상호 혼동되는 경우에만 비세미로 군집화되며, 자음과 모음은 별도로 처리된다.
• 3단계 모델과 5개의 가우시안 성분을 사용하여, 교차 검증을 통해 은닉 마르코프 모델(HMM)을 학습하고 테스트한다.
• 시스템은 AAM을 통해 추출한 입술 특징을 사용하며, HTK 툴킷을 활용해 HMM 학습, 재추정 및 인식을 수행한다.
• 성능 평가에는 AVLetters2 데이터셋에서 단어 정확도를 사용하며, 동일 발화자, 다른 발화자, 다발화자 구성 간 비교를 수행한다.
• 통계적 유의성을 고려하여, 동일 발화자 기준선 대비 비세미 지도 성능을 평가하기 위해 가중치 기반 평가 체계를 사용한다.

실험 결과

연구 질문

• RQ1 발화자 독립적 비세미 지도를 발화자 독립적 입술 읽기 재사용에 효과적으로 활용할 수 있는가?
• RQ2 다른 발화자 간 입술 읽기에서 성능 저하의 원인이 잘못된 비세미 매핑인지, 일치하지 않는 학습 데이터 때문인지?
• RQ3 다양한 발화자 간 시각적 언어 인식에서 비세미 매핑은 얼마나 유사한가?
• RQ4 모든 발화자 간에 시각적 언어를 표현할 수 있는 보편적인 비세미 집합이 존재하는가, 아니면 각 발화자에 따라 특화된가?

주요 결과

• 어느 발화자의 비세미 지도를 다른 발화자의 데이터로 학습한 경우 인식 성능이 크게 저하되지만, HMM 재학습을 통해 이 저하가 복구됨을 확인하여 문제의 근본 원인이 비세미 지도 자체가 아니라, 비일치한 발화자에 대한 HMM 학습 부족임을 시사한다.
• 동일한 비세미 지도(M1234 등)가 다양한 발화자 간에서 일관되게 성능을 유지함을 통해, 개인 간에 공통의 비세미 레퍼토리가 존재함을 시사한다.
• 가장 높은 발화자 독립적 성능을 보였던 발화자 3번은 발화자 독립 지도(M124)를 사용할 때 가장 높은 성능을 기록하였으며, 이는 고유한 시각적 언어 패턴이 다른 발화자 간 유사성 감소에 기여할 수 있음을 시사한다.
• 비세미 지도 내 비세미 수는 인식 성능과 상관관계가 있으며, 더 적고 더 뚜렷한 비세미로 구성된 지도일수록 성능이 뛰어나며, 특히 비세미 동음이의가 감소할 경우 더욱 뚜렷하다.
• 발화자 4번의 경우 /v01/ 비세미에 /ow/와 /uw/를 추가한 결과 성능이 발화자 1번에 비해 유의미하게 저하되었으며, 이는 조그만 매핑 차이조차도 인식 성능에 영향을 미칠 수 있음을 보여준다.
• 연구는 시각적 언어 단위(비세미)가 본질적으로 발화자 간 독립적이며, 사용 방식은 다를 수 있음을 결론 내리며, 음성 언어에서 음소가 다양한 억양 간에 공유되는 것과 유사하다고 설명한다.