[논문 리뷰] Visual gesture variability between talkers in continuous visual speech

Helen L. Bear|arXiv (Cornell University)|2017. 10. 03.

Speech and Audio Processing참고 문헌 18인용 수 5

한 줄 요약

이 연구는 음소 혼동 데이터를 사용하여 개인별 음소-비세미(phoneme-to-viseme, P2V) 맵을 구축함으로써 연속적인 입술 읽기에서 발화자에 따라 달라지는 시각적 발화 변동성을 조사한다. RMAV 데이터셋과 HMM 기반 분류기를 사용한 결과, 발화자에 따라 달라지는 P2V 맵이 발화자 독립적 또는 다발화자 맵보다 단어 인식 정확도에서 유의미하게 향상되었으며, 연속된 발화에서는 고립된 단어 대비 성능 격차가 줄어들어 맥락과 공음화가 발화자 특화 맵의 효과를 높이는 데 기여함을 시사한다.

ABSTRACT

Recent adoption of deep learning methods to the field of machine lipreading research gives us two options to pursue to improve system performance. Either, we develop end-to-end systems holistically or, we experiment to further our understanding of the visual speech signal. The latter option is more difficult but this knowledge would enable researchers to both improve systems and apply the new knowledge to other domains such as speech therapy. One challenge in lipreading systems is the correct labeling of the classifiers. These labels map an estimated function between visemes on the lips and the phonemes uttered. Here we ask if such maps are speaker-dependent? Prior work investigated isolated word recognition from speaker-dependent (SD) visemes, we extend this to continuous speech. Benchmarked against SD results, and the isolated words performance, we test with RMAV dataset speakers and observe that with continuous speech, the trajectory between visemes has a greater negative effect on the speaker differentiation.

연구 동기 및 목표

• 입술 읽기에서 음소-비세미(P2V) 맵핑이 연속된 발화에서 본질적으로 발화자에 따라 달라지는가를 확인하는 것.
• 연속적인 시각적 발화 인식에서 발화자에 따라 달라지는(SD), 발화자 독립적(SI), 다발화자(MS) P2V 맵의 성능을 평가하는 것.
• 고립된 단어 인식 대비 연속된 발화에서 발화자에 따라 달라지는 맵과 발화자 독립적 맵 간의 성능 격차가 어느 정도 감소하는가를 평가하는 것.
• 비타겟 발화자 P2V 맵이 타겟 발화자 맵보다 성능이 뛰어나게 되는 예외적인 경우가 있는지 확인하여, 다발화자 간 적응의 잠재력을 규명하는 것.
• 데이터 효율적인 적응을 위한 정보를 제공하기 위해 비세미 맵 유사도를 비교할 수 있는 지표를 제안하는 것.

제안 방법

• 25개의 P2V 맵을 구축: 모든 발화자의 혼동 데이터를 사용한 하나의 다발화자 맵, 각 발화자별로 다른 사람의 데이터를 사용한 하나의 발화자 독립적 맵, 각 발화자별로 자신의 데이터를 사용한 하나의 발화자에 따라 달라지는 맵.
• HTK 툴킷을 사용하여 3단계 HMM과 상태당 5개의 혼합 정규분포를 사용한 HMM 분류기 학습을 수행하였으며, 강제 정렬과 HERest를 통한 11회 재추정을 적용하였다.
• HBuild와 HLStats를 사용하여 이항단어 네트워크를 구축하고, 식별 1에 정의된 단어 정확도(Cw)를 성능 평가 지표로 사용하였다: Cw = (N - D - S)/N.
• 정확도를 높이기 위해 10겹 교차검증을 적용하였으며, 학습 데이터와 테스트 데이터를 분리하였다.
• 영국 영어의 BEEP 발음 사전을 사용하였고, 고립된 단어(AVL2)와 연속된 발화(RMAV) 데이터셋 간 결과를 비교하였다.
• 다른 발화자 간에 비세미 맵 유사도를 비교할 수 있는 지표를 제안하여, 최소한의 데이터로 효율적인 적응을 가능하게 하고자 하였다.

실험 결과

연구 질문

• RQ1 연속적인 시각적 발화에서 발화자에 따라 달라지는 P2V 맵의 성능은 발화자 독립적 및 다발화자 P2V 맵과 비교해 어떻게 되는가?
• RQ2 고립된 단어 인식 대비 연속된 발화에서, 발화자에 따라 달라지는 맵과 발화자 독립적 맵 간의 성능 격차는 어느 정도 감소하는가?
• RQ3 비타겟 발화자 P2V 맵이 자신의 맵보다 성능이 뛰어나게 되는 특정 발화자가 존재하는가? 이는 다발화자 간 적응의 잠재력을 시사한다.
• RQ4 공음화와 언어적 맥락은 발화자에 따라 달라지는 비세미 맵핑의 구조와 효과성에 어떻게 영향을 미치는가?
• RQ5 비세미 맵 간 유사도 지표를 사용하여, 최소한의 데이터로 한 발화자에서 다른 발화자로 효과적인 적응을 예측할 수 있는가?

주요 결과

• 발화자에 따라 달라지는 P2V 맵은 연속된 발화에서 발화자 독립적 맵과 다발화자 맵을 유의미하게 뛰어넘었으며, RMAV 데이터셋에서 Speaker 12의 경우 단어 정확도(Cw) 향상 폭이 최대 8.04%에 이르렀다.
• 고립된 단어 대비 연속된 발화에서는 발화자에 따라 달라지는 맵과 발화자 독립적 맵 간의 성능 격차가 크게 감소하였으며, 일부 경우 발화자 독립적 맵의 성능은 무작위 추측보다 열 劣한 경우도 있었다.
• 다른 발화자들 중에서 자신의 맵보다 성능을 높이는 P2V 맵을 가진 발화자는 오직 두 명(5번과 12번) 뿐이었으며, M12는 테스트 발화자 12명 중 11명에게 양호한 영향을 미쳤다. 이는 발화자 특화 맵의 원칙에 대한 희귀하지만 중요한 예외를 시사한다.
• 연속된 발화에서는 고립된 단어 대비 평균 5.78%의 단어 정확도 향상이 있었으며, 이는 공음화와 언어적 맥락이 맵핑 정확도를 향상시킨다는 것을 시사한다.
• 비세미 집합의 변동성과 각 비세미 집합 내에서 개별 비세미의 기여도가 분류 성능에 크게 영향을 미치며, 이는 다발화자/발화자 독립적 맵을 과도하게 일반화할 경우 일반화 성능이 떨어질 수 있음을 시사한다.
• 발화자 독립적 입술 읽기는 가능하며, 특히 시각적 및 언어적 유사성이 있는 발화자 간에는 더욱 가능하다. 비타겟 맵이 타겟 맵보다 성능이 뛰어나게 되는 사례들이 이를 뒷받침하며, 이는 다발화자 간 적응의 가능성을 시사한다.