[논문 리뷰] LRWR: Large-Scale Benchmark for Lip Reading in Russian language

Evgeniy Egorov, Vasiliy Kostyumov외 2명|arXiv (Cornell University)|2021. 09. 14.

Speech and Audio Processing참고 문헌 21인용 수 6

한 줄 요약

이 논문은 235개의 클래스와 135명의 화자, 총 117,500개의 샘플을 포함하는 러시아어를 위한 최초의 대규모 자연스러운 분포를 가진 립리딩 벤치마크인 LRWR를 소개한다. LRWR에서 최신 립리딩 모델을 평가하고, 레이블 스무딩, 미스업, 코즈인 스케줄링과 같은 최적의 트레이닝 기법을 규명하며, AttentionLipreadingNet(ALL)을 제안하여 LRW 벤치마크에서 89.1%의 새로운 최고 성능을 기록하고, LRWR에서는 61.1%의 성능을 달성한다.

ABSTRACT

Lipreading, also known as visual speech recognition, aims to identify the speech content from videos by analyzing the visual deformations of lips and nearby areas. One of the significant obstacles for research in this field is the lack of proper datasets for a wide variety of languages: so far, these methods have been focused only on English or Chinese. In this paper, we introduce a naturally distributed large-scale benchmark for lipreading in Russian language, named LRWR, which contains 235 classes and 135 speakers. We provide a detailed description of the dataset collection pipeline and dataset statistics. We also present a comprehensive comparison of the current popular lipreading methods on LRWR and conduct a detailed analysis of their performance. The results demonstrate the differences between the benchmarked languages and provide several promising directions for lipreading models finetuning. Thanks to our findings, we also achieved new state-of-the-art results on the LRW benchmark.

연구 동기 및 목표

• 러시아어 및 기타 슬라브어 언어를 위한 대규모 자연스러운 분포를 가진 립리딩 데이터셋의 부족을 해결하기 위해.
• 저자원, 비영어 언어 환경에서의 립리딩 모델 평가를 위한 기준을 설정하기 위해.
• 데이터 증강, 정규화, 학습률 스케줄링과 같은 다양한 딥러닝 기법이 러시아어 립리딩 성능에 미치는 영향을 조사하기 위해.
• 다양한 데이터셋에서 잘 일반화되는 새로운 아키텍처인 AttentionLipreadingNet(ALN)을 개발하여 LRW에서 최고 성능을 향상시키기 위해.
• 러시아어와 영어 간의 언어적, 음소적 차이가 립리딩 모델의 일반화 및 성능에 미치는 영향을 이해하기 위해.

제안 방법

• 유튜브 영상에서 LRWR를 수집하여 조명, 자세, 배경 등 자연스러운 변동성을 확보하였으며, 235개의 단어와 135명의 화자로 총 117,500개의 샘플을 확보하였다.
• 고품질이고 균형 잡힌 데이터 확보를 위해 자동 음성 인식(ASR) 정렬, 얼굴 및 입술 검출, 수동 검증을 포함하는 데이터 파이프라인을 구현하였다.
• LRWR에서 최신 립리딩 아키텍처(예: D3D, 플로우 기반 이중 스트림, ResNeSt 기반 모델)를 다수 벤치마크하여 평가하였다.
• 정규화 기법(레이블 스무딩, 미스업, 컷아웃), 데이터 샘플링 전략, 최적화 스케줄링(코즈인 학습률 감소)을 체계적으로 평가하였다.
• 시간적 모델링을 위해 3D 컨볼루션, 스플릿-어텐션 기반 2D ResNeSt 블록, 양방향 GRU를 조합하여 AttentionLipreadingNet(ALN)을 설계하였다.
• 데이터 증강(랜덤 컷, 수평 플립, 미스업, 레이블 스무딩, 드롭블록), 코즈인 스케줄링을 적용한 Adam 옵timizer, 비디오 길이에 따른 로그-소프트맥스 풀링을 사용한 크로스 엔트로피 손실을 통해 ALN을 훈련시켰다.

실험 결과

연구 질문

• RQ1 최근에 소개된 대규모 자연스러운 분포를 가진 러시아어 립리딩 벤치마크(LRWR)에서 기존의 립리딩 모델은 어떤 성능을 보이는가?
• RQ2 데이터 증강, 정규화, 최적화 기법 중 어떤 것이 LRWR 데이터셋에서 가장 높은 성능 향상을 이끌어내는가?
• RQ3 러시아어와 영어 간의 언어적·음소적 차이가 립리딩 모델의 일반화 및 성능에 어느 정도의 영향을 미치는가?
• RQ4 LRWR에서의 통찰을 바탕으로 한 통합 아키텍처를 훈련시켜 LRWR와 기존의 LRW 벤치마크에서 모두 성능 향상을 이룰 수 있는가?
• RQ5 입력 해상도와 데이터 균형(예: 클래스당 750개 샘플로 업샘플링)이 저자원 환경에서 모델 정확도에 미치는 영향은 무엇인가?

주요 결과

• 레이블 스무딩, 미스업, 코즈인 학습률 스케줄링을 조합하고 RNN 히든 사이즈를 증가시키면 LRWR에서 모델 정확도가 크게 향상되었다.
• 각 클래스를 750개 샘플로 업샘플링하면 성능 향상이 있었지만, 더 이상 업샘플링하면 성능이 악화되어 최적의 데이터 균형 지점이 존재함을 시사했다.
• 사전 학습된 모델 가중치는 일관되게 높은 성능을 보였으며, 러시아어 립리딩에서 전이 학습의 잠재력이 매우 크다는 것을 시사했다.
• D3D는 LRWR에서 가장 높은 정확도(54%)를 기록했지만, LRW에서는 성능이 열악했음(78.0%), 언어별로 성능 격차가 뚜렷함을 보여주었다.
• AttentionLipreadingNet(ALN)은 LRW 벤치마크에서 89.1%의 새로운 최고 성능을 기록하여 이전 최고 성능인 88.4%를 초월하였다.
• ALN은 LRWR에서 61.1%의 정확도를 달성하였으며, 입력 해상도(112×112 대비 256×256)와 언어적 복잡성에 민감하게 반응함을 확인하였고, LRW 결과와 상당한 격차가 존재함을 보여주었다.