[논문 리뷰] Synchronous Bidirectional Learning for Multilingual Lip Reading

Mingshuang Luo, Shuang Yang외 3명|arXiv (Cornell University)|2020. 05. 08.

Speech and Audio Processing참고 문헌 24인용 수 5

한 줄 요약

이 논문은 다국어 입술 읽기 문제를 위해 공통된 모델링 단위로 음소를 사용하여 다국어 간 시각적 패턴을 활용하는 동기화 이중방향 학습(SBL) 프레임워크를 제안한다. 양방향 문맥에서 누락된 음소를 예측하고 언어 정체성을 동시에 예측하는 통합 모델을 훈련시킴으로써, LRW(87.32%) 및 LRW-1000(56.85%)에서 최신 기준 성능을 달성하며, 다국어 학습의 상호보완적 효과가 뚜렷하게 드러난다.

ABSTRACT

Lip reading has received increasing attention in recent years. This paper focuses on the synergy of multilingual lip reading. There are about as many as 7000 languages in the world, which implies that it is impractical to train separate lip reading models with large-scale data for each language. Although each language has its own linguistic and pronunciation rules, the lip movements of all languages share similar patterns due to the common structures of human organs. Based on this idea, we try to explore the synergized learning of multilingual lip reading in this paper, and further propose a synchronous bidirectional learning (SBL) framework for effective synergy of multilingual lip reading. We firstly introduce phonemes as our modeling units for the multilingual setting here. Phonemes are more closely related with the lip movements than the alphabet letters. At the same time, similar phonemes always lead to similar visual patterns no matter which type the target language is. Then, a novel SBL block is proposed to learn the rules for each language in a fill-in-the-blank way. Specifically, the model has to learn to infer the target unit given its bidirectional context, which could represent the composition rules of phonemes for each language. To make the learning process more targeted at each particular language, an extra task of predicting the language identity is introduced in the learning process. Finally, a thorough comparison on LRW (English) and LRW-1000 (Mandarin) is performed, which shows the promising benefits from the synergized learning of different languages and also reports a new state-of-the-art result on both datasets.

연구 동기 및 목표

• 인간의 음성 기관 해부학적 특성으로 인해 다양한 언어 간 공통된 시각적 패턴이 존재하므로, 이를 활용하여 다국어 입술 읽기를 새로운 문제로 탐색한다.
• 세계 약 7,000개 언어에 대해 각각 별도의 모델을 훈련하는 것이 비현실적이므로, 언어 간 지식 전이를 가능하게 하여 문제를 해결한다.
• 다양한 언어의 구성 규칙을 동시에 학습하는 통합 프레임워크를 통해 입술 읽기 성능을 향상시킨다.
• 단일 모듈 내에서 양방향 문맥을 통합하여 음소 예측을 위한 이중방향 문맥 모델링을 개선하는 새로운 SBL 블록을 도입한다.
• 공동 언어 정체성 예측의 효과를 검증하여, 공통 다국어 아키텍처 내에서 언어별로 특화된 학습 능력 향상 여부를 확인한다.

제안 방법

• 음소는 알파벳 문자보다 입술 움직임과 더 직접적으로 관련되므로, 언어 간 언어적 차이를 극복하기 위한 모델링 단위로 사용된다.
• 양쪽 문맥을 통합적으로 사용하여 누락된 음소를 예측하는 새로운 동기화 이중방향 학습(SBL) 블록을 도입하여, 두 개의 별도된 단방향 인코더를 대체한다.
• SBL 블록은 트랜스포머 기반 디코더 아키텍처에 통합되어, 빈칸 채우기 작업을 통해 다국어 구성 규칙을 엔드 투 엔드로 학습한다.
• 각 언어에 특화된 학습을 더욱 효과적으로 하기 위해 모델에 보조 언어 정체성 예측 헤드를 추가한다.
• 모델은 영어(LRW) 및 중국어(_LRw-1000) 데이터셋에서 훈련되며, 음소 예측과 언어 분류의 공동 최적화를 수행한다.
• 아키텍처와 보조 과제의 영향을 분석하기 위해 SBL-단독, SBL-전체, SBL-언어 플래그 설정 등 다양한 추론 설정에서 평가한다.

실험 결과

연구 질문

• RQ1 공통된 입술 움직임 패턴을 활용하여 통합된 입술 읽기 모델이 다양한 언어에서 효과적으로 학습할 수 있는가?
• RQ2 통합된 문맥 인코더를 사용하는 동기화 이중방향 학습이 별도의 단방향 인코더보다 다국어 입술 읽기에서 더 우수한 성능을 내는가?
• RQ3 언어 정체성의 공동 예측이 다국어 아키텍처 내에서 언어별 구성 규칙 학습 능력을 향상시키며, 동시에 다국어 성능을 저하시키지 않는가?
• RQ4 작은 규모의 다국어 데이터를 사용할 경우, 다국어 사전 훈련이 단일 언어 사전 훈련보다 성능 향상에 더 효과적인가?
• RQ5 단어 또는 문자 수준의 모델링 대비 음소 수준의 모델링이 다국어 입술 읽기에서 공통 언어 다리 역할을 하는 데 기여하는 정도는 어떠한가?

주요 결과

• 제안된 SBL-All-Flag 모델은 영어 LRW 벤치마크에서 87.32%의 새로운 최고 성능을 달성하여 이전 방법들보다 뚜렷한 격차를 확보한다.
• 중국어 LRW-1000 데이터셋에서는 56.85%의 정확도를 기록하며, 이는 이전 최고 성능보다 18个百分点 이상 뛰어나다.
• 첫 번째 SBL 블록만 적용된 경우(SBL-First)에도 LRW에서 85.26%, LRW-1000에서 54.35%의 성능을 기록하여 핵심 SBL 메커니즘의 효과를 입증한다.
• 언어 정체성 예측 헤드의 통합(SBL-All-Flag)은 성능 향상에 상당한 기여를 하며, 언어별 학습 강화 기능을 확인한다.
• 더 큰 규모의 영어 전용 데이터셋(LRS2-BBC, LRS3-TED)을 사전 훈련한 방법보다도, 더 작은 규모의 중국어 데이터셋(LRW-1000)만으로도 더 높은 성능을 달성하여 다국어 훈련의 이점을 뒷받침한다.
• 추론 실험 결과, 별도의 단방향 브랜치보다 통합된 이중방향 모델링이 더 효과적이며, 보조 언어 예측 과제가 성능 향상에 핵심적인 역할을 한다는 점을 확인한다.