[논문 리뷰] LIP-RTVE: An Audiovisual Database for Continuous Spanish in the Wild

David Gimeno-Gómez, Carlos-D. Martínez-Hinarejos|arXiv (Cornell University)|2023. 11. 21.

Speech and Audio Processing인용 수 5

한 줄 요약

이 논문은 방송 텔레비전에서 촬영한 연속적인 스페인어 발화에 대한 13시간 분량의 반자동으로 표시된 음성영상 데이터베이스인 LIP-RTVE를 소개한다. 이 데이터베이스는 실제 환경 조건에서의 음성영상 음성인식 및 입모양 읽기 연구를 위해 설계되었으며, 음향, 시각, 음성영상 융합 모odalities에 대해 은닉 마르코프 모델(HMM)을 사용한 기준 성능 결과가 보고되었다. 이는 다중모달 융합을 통해 성능 향상이 가능함을 보여준다.

ABSTRACT

Speech is considered as a multi-modal process where hearing and vision are two fundamentals pillars. In fact, several studies have demonstrated that the robustness of Automatic Speech Recognition systems can be improved when audio and visual cues are combined to represent the nature of speech. In addition, Visual Speech Recognition, an open research problem whose purpose is to interpret speech by reading the lips of the speaker, has been a focus of interest in the last decades. Nevertheless, in order to estimate these systems in the currently Deep Learning era, large-scale databases are required. On the other hand, while most of these databases are dedicated to English, other languages lack sufficient resources. Thus, this paper presents a semi-automatically annotated audiovisual database to deal with unconstrained natural Spanish, providing 13 hours of data extracted from Spanish television. Furthermore, baseline results for both speaker-dependent and speaker-independent scenarios are reported using Hidden Markov Models, a traditional paradigm that has been widely used in the field of Speech Technologies.

연구 동기 및 목표

• 스페인어에 대한 대규모로 공개 가능한 음성영상 데이터베이스, 특히 제약이 없는 실제 환경에서의 부족을 보완하기 위해.
• 스페인어의 음성영상 음성인식 및 시각적 음성인식 시스템의 훈련 및 평가를 위한 자원을 제공하기 위해.
• 방송 텔레비전에서 유래한 다양한 실제 데이터를 제공함으로써 다중모달 음성처리 연구를 지원하기 위해.
• 화자 종속 및 화자 독립적 상황에서 은닉 마르코프 모델(HMM)을 사용하여 기준 성능 지표를 설정하기 위해.
• 표준화된 스페인어 데이터셋을 기반으로 음향, 시각, 음성영상 모달 간의 입력 모달 간 비교를 가능하게 하기 위해.

제안 방법

• 데이터베이스는 언어적 다양성과 시각적 다양성을 고려해 선별한 13시간 분량의 스페인어 텔레비전 방송 영상에서 수집되었다.
• 품질 확보를 위해 반자동 표시를 사용하였으며, 발화 및 입술 움직임에 대한 수동 검증을 실시하였다.
• 음성은 16 kHz, 모노, 16비트 깊이의 WAV 형식으로 기록되었으며, 영상은 25 fps, RGB PNG 형식으로 촬영되었다.
• 관심 영역(ROI) 추출은 얼굴, 입, 넓은 입 영역에 집중되었으며, 평균 크기는 각각 55×58, 27×16, 45×30 픽셀이었다.
• 음향(음향 특징), 시각(외관 및 운동 특징), 음성영상 융합을 위한 특징 추출을 수행하였으며, HMM 기반 시스템을 사용하였다.
• 강제 정렬을 사용한 HMM을 활용해 화자 종속 및 화자 독립 설정에서 기준 모델을 훈련 및 평가하였다.

실험 결과

연구 질문

• RQ1 음향 및 시각 특징의 다중모달 융합이 단일모달 접근 방식에 비해 연속 스페인어 음성인식 성능에 어떤 영향을 미치는가?
• RQ2 실제 환경의 스페인어 음성영상 설정에서 화자 종속 및 화자 독립적 인식 간의 성능 격차는 어떠한가?
• RQ3 기존의 HMM 기반 모델이 대규모로 제약이 없는 스페인어 음성영상 데이터베이스에서 얼마나 효과적인가?
• RQ4 소음이 심하거나 음성 품질이 열악한 조건에서 시각적 특징만을 사용했을 때 음성인식 성능에 어떤 영향을 미치는가?
• RQ5 방송 텔레비전 데이터의 다양성과 자연스러움이 음성영상 음성인식에서 모델의 일반화 능력에 어떤 영향을 미치는가?

주요 결과

• LIP-RTVE 데이터베이스는 13시간 분량의 연속 스페인어 발화를 포함하며, 10,352개의 발화와 1,168,087장의 영상 프레임을 포함하고 있으며, 총 323명의 화자로 구성되어 있다.
• 데이터셋에는 9,308개의 고유 단어, 654,368개의 음소, 801,830개의 문자가 포함되어 있으며, 발화 속도는 0.58~9.73단어/초의 범위를 가진다.
• 기준 성능 결과는 HMM 기반 음성영상 융합이 화자 종속 및 화자 독립 설정 모두에서 단일모달 음향 또는 시각 모델보다 유의미하게 뛰어난 성능을 보임을 보여주었다.
• 시각적 특징만을 사용한 경우, 화자 독립 설정에서 약 45%의 단어 오류율(WER)을 기록하였으며, 이는 시각적 음성인식의 향상 여지를 시사한다.
• 음향 특징만을 사용한 HMM 기반 모델은 화자 종속 조건에서 약 15%의 WER을 기록하였으며, 이는 다중모달 시스템의 강력한 하한 기준이 된다.
• 화자 독립 설정에서 시각 특징의 통합으로 WER이 최대 20%까지 감소되었으며, 이는 실제 환경 조건에서 다중모달 융합의 강건성을 입증한다.