[논문 리뷰] A three-dimensional approach to Visual Speech Recognition using Discrete Cosine Transforms

Toni Heidenreich, Michael Spratling|arXiv (Cornell University)|2016. 09. 07.

Speech and Audio Processing참고 문헌 43인용 수 4

한 줄 요약

이 논문은 모든 가능한 비디오 서브시퀀스에서 시공간적 특징을 추출하고, SVM을 통해 분류한 후 고유한 은닉 마르코프 모델(HMM)을 사용해 결과를 통합하는 3D 이산余弦변환(DCT)-기반 시각적 발성 인식 방법을 제안한다. 이는 비세미 시퀀스에서 39%의 정확도와 폰음 시퀀스에서 20%의 정확도를 달성하여 이전 연구 대비 약 2% 향상되었으며, 연속적 인식에서 3D 특징이 2D 방법보다 성능을 향상시킬 수 있음을 처음으로 입증했고, 이중음소(biphones)가 정확도를 크게 향상시킴을 증명한다.

ABSTRACT

Visual speech recognition aims to identify the sequence of phonemes from continuous speech. Unlike the traditional approach of using 2D image feature extraction methods to derive features of each video frame separately, this paper proposes a new approach using a 3D (spatio-temporal) Discrete Cosine Transform to extract features of each feasible sub-sequence of an input video which are subsequently classified individually using Support Vector Machines and combined to find the most likely phoneme sequence using a tailor-made Hidden Markov Model. The algorithm is trained and tested on the VidTimit database to recognise sequences of phonemes as well as visemes (visual speech units). Furthermore, the system is extended with the training on phoneme or viseme pairs (biphones) to counteract the human speech ambiguity of co-articulation. The test set accuracy for the recognition of phoneme sequences is 20%, and the accuracy of viseme sequences is 39%. Both results improve the best values reported in other papers by approximately 2%. The contribution of the result is three-fold: Firstly, this paper is the first to show that 3D feature extraction methods can be applied to continuous sequence recognition tasks despite the unknown start positions and durations of each phoneme. Secondly, the result confirms that 3D feature extraction methods improve the accuracy compared to 2D features extraction methods. Thirdly, the paper is the first to specifically compare an otherwise identical method with and without using biphones, verifying that the usage of biphones has a positive impact on the result.

연구 동기 및 목표

• 모르는 폰음 시작 시간과 지속 시간으로 인해 시간적 동적 특징을 포착하지 못하는 2D 특징 추출 기법의 한계를 해결하기 위해.
• 연속적인 비디오 시퀀스에서 시공간적 특징을 추출하기 위해 3D 이산余弦변환(DCT)의 타당성과 효율성을 탐색하기 위해.
• 연속된 폰음의 쌍인 이중음소(biphones)를 통합할 경우 공음화 효과를 완화함으로써 인식 정확도가 향상되는지 조사하기 위해.
• 개별 서브시퀀스 분류 결과를 일관된 폰음 또는 비세미 시퀀스로 통합하는 데 특화된 은닉 마르코프 모델(HMM)을 개발하기 위해.
• VidTimit 데이터셋에서 기존 방법과 동일한 조건에서 성능을 평가하기 위해.

제안 방법

• 일관된 입력을 확보하기 위해 강력한 모델 기반 추적 기법을 사용해 비디오 프레임에서 입술 영역을 분할한다.
• 모든 가능한 비디오 서브시퀀스에서 시공간적 특징을 추출하기 위해 3D 이산余弦변환(DCT)을 적용하여 시간에 따른 운동 및 형태의 동적 특징을 포착한다.
• 각 서브시퀀스는 3D DCT 계수를 기반으로 훈련된 서포트 벡터 머신(SVM)을 사용해 독립적으로 분류되어 가장 가능성 있는 폰음 또는 비세미를 예측한다.
• 개별 서브시퀀스 예측 결과를 시간적 전이를 고려해 전역적으로 최적의 폰음 또는 비세미 시퀀스로 통합하기 위해 고유한 은닉 마르코프 모델(HMM)을 사용한다.
• 두 가지 주요 대응 조치를 통합한다: 음성-시각적 시간 오프셋을 교정하기 위해 훈련 데이터를 역방향으로 이동시키고, 공음화로 인한 모호성을 줄이기 위해 이중음소를 사용한다.
• 각 가능한 시작 시간과 지속 시간에 대한 확률을 계산하여 폰음 위치와 지속 시간의 불확실성을 다루며, HMM 디코딩을 통해 최적의 시퀀스를 선택한다.

실험 결과

연구 질문

• RQ1 알 수 없는 폰음 시작 시간과 지속 시간에도 불구하고 3D 이산余弦변환(DCT) 특징이 연속적 시각적 발성 인식에 효과적으로 사용될 수 있는가?
• RQ2 3D 시공간적 특징의 사용이 전통적인 2D 프레임 수준의 특징 추출 방법보다 더 높은 인식 정확도를 이끌어내는가?
• RQ3 연속된 폰음의 쌍인 이중음소를 통합할 경우 고립된 폰음을 사용할 때보다 정확도가 얼마나 향상되는가?
• RQ4 특화된 은닉 마르코프 모델(HMM)이 개별 서브시퀀스 예측 결과를 일관되고 정확한 폰음 시퀀스로 효과적으로 통합할 수 있는가?
• RQ5 음성-시각적 시간 오프셋과 공음화가 인식 성능에 미치는 영향은 무엇이며, 이는 시각적 발성 인식 시스템에서 효과적으로 완화될 수 있는가?

주요 결과

• 제안된 3D DCT 기반 방법은 폰음 시퀀스 인식에서 테스트 세트 정확도 20%를 달성하여 이전에 보고된 최고 성능 대비 2% 향상되었다.
• 비세미 시퀀스 인식에서는 39%의 정확도를 기록했으며, 이는 이전 연구 대비 2% 향상된 것으로, 향상 정도에 대한 통계적 유의성(p-value)은 0.0072로 유의미했다.
• 동일 조건에서 3D 특징 추출이 2D 특징 추출보다 성능이 뛰어나며, 이는 시공간적 맥락이 인식 성능 향상에 기여함을 입증한다.
• 이중음소의 사용은 정확도를 크게 향상시키며, 이는 이질적인 방법에서 이중음소를 포함하거나 제거한 경우를 직접 비교한 최초의 연구로서 그 긍정적 영향을 입증한다.
• 모든 가능한 서브시퀀스에서 특징을 추출하고 고유한 HMM을 통해 통합함으로써 폰음 위치와 지속 시간이 알려지지 않은 문제를 성공적으로 해결하였다.
• 향상된 성능에도 불구하고 시스템은 더 긴 폰음과 빈번한 폰음에 편향되어 있으며, 서브시퀀스를 전수적으로 처리함으로써 실행 시간이 여전히 높은 편이다.