[논문 리뷰] Mutual Information Maximization for Effective Lip Reading

Xing Zhao, Shuang Yang외 2명|arXiv (Cornell University)|2020. 03. 13.

Speech and Audio Processing참고 문헌 27인용 수 6

한 줄 요약

이 논문은 음성 콘텐츠와의 상호정보량을 최대화하는 프레임워크를 제안하여 효과적인 입술 읽기 성능을 향상시킨다. 국소적( LMIM ) 및 전역적( GMIM ) 특징 표현을 음성 콘텐츠와의 상호정보량이 최대가 되도록 강제함으로써, 세분화된 프레임 수준의 특징을 향상시키고 핵심 프레임에 대한 선택적 주의를 부여한다. 이로 인해 LRW에서 84.41%의 새로운 최고 성능을 기록하였고, LRW-1000에서는 38.79%를 달성하여 도전적인 시각적 음성 조건에서도 개선된 강인성과 분류 능력을 입증하였다.

ABSTRACT

Lip reading has received an increasing research interest in recent years due to the rapid development of deep learning and its widespread potential applications. One key point to obtain good performance for the lip reading task depends heavily on how effective the representation can be to capture the lip movement information and meanwhile to resist the noises resulted from the change of pose, lighting conditions, speaker's appearance and so on. Towards this target, we propose to introduce the mutual information constraints on both the local feature's level and the global sequence's level to enhance the relations of the features with the speech content. On the one hand, we constraint the features generated at each time step to enable them carry a strong relation with the speech content by imposing the local mutual information maximization constraint (LMIM), leading to improvements over the model's ability to discover fine-grained lip movements and the fine-grained differences among words with similar pronunciation, such as ``spend'' and ``spending''. On the other hand, we introduce the mutual information maximization constraint on the global sequence's level (GMIM), to make the model be able to pay more attention to discriminate key frames related with the speech content, and less to various noises appeared in the speaking process. By combining these two advantages together, the proposed method is expected to be both discriminative and robust for effective lip reading. To verify this method, we evaluate on two large-scale benchmark. We perform a detailed analysis and comparison on several aspects, including the comparison of the LMIM and GMIM with the baseline, the visualization of the learned representation and so on. The results not only prove the effectiveness of the proposed method but also report new state-of-the-art performance on both the two benchmarks.

연구 동기 및 목표

• 자세, 조명, 발화자 변동성에 영향을 받지 않는 강력하고 구분 능력 있는 시각적 표현을 학습함으로써 입술 읽기 성능을 향상시키는 것.
• 다양한 발화 조건에서 발생하는 단어 경계의 일관성 부족과 입술 움직임의 변동성 문제를 해결하는 것.
• 예를 들어 'spend'와 'spending'과 같은 동음이의어나 유사 발음 단어들 사이의 세분화된 차이를 구분할 수 있는 모델의 능력을 향상시키는 것.
• 모델이 타겟 단어와 관련된 핵심 프레임을 자동으로 식별하고 집중함으로써 불필요한 프레임의 노이즈를 억제할 수 있도록 하는 것.
• 외부 단어 경계 애너테이션에 의존하지 않고도 대규모 벤치마크 LRW와 LRW-1000에서 최고 성능을 달성하는 것.

제안 방법

• 프레임 수준의 특징과 음성 콘텐츠 사이의 상호정보량을 최대화하기 위해 국소 상호정보량 최대화(LMIM)를 도입하여 세분화된 입술 움직임에 대한 민감도를 향상시킨다.
• 전체 시퀀스 표현과 음성 콘텐츠 사이의 상호정보량을 최대화하기 위해 전역 상호정보량 최대화(GMIM)를 제안하여 핵심 프레임에 대한 주의를 가능하게 하고 노이즈 억제를 실현한다.
• GMIM을 학습 가능한 주의 메커니즘을 통해 적용하여 애너테이션된 단어 경계 내 프레임에 더 높은 가중치를 부여하고, 맥락 프레임에는 낮은 가중치를 할당한다.
• 표준 입술 읽기 아키텍처를 수정하여 전처리 특징 추출기와 후처리 분류기 간의 동시 학습이 가능하도록 하며, 이때 LMIM 및 GMIM 제약 조건을 함께 적용한다.
• 국소 및 전역 수준에서 표현을 최적화하기 위해 상호정보량 추정 기반의 대비 학습 목표를 사용한다.
• PCA 기반 시각화를 활용하여 GLMIM 적용 전후의 표현의 구분 능력을 분석하고 비교한다.

실험 결과

연구 질문

• RQ1 국소 상호정보량 최대화는 모델이 세분화된 입술 움직임을 포착하고 동음이의어를 구분하는 데에 효과적인가?
• RQ2 전역 상호정보량 최대화는 모델이 핵심 프레임에 대한 주의를 향상시키고 비디오 시퀀스에서 불필요한 노이즈를 억제하는 데에 기여하는가?
• RQ3 LMIM와 GMIM을 결합하면 대규모 입술 읽기 벤치마크에서 기존 기준 모델 대비 유의미한 성능 향상을 이끌 수 있는가?
• RQ4 다양한 발화 조건에서 제안된 방법은 최고 수준의 접근법과 비교해 정확도와 강인성 측면에서 어떻게 성능을 내는가?
• RQ5 학습된 주의 메커니즘이 명시적 지도 없이 실제 단어 경계와 얼마나 잘 일치하는가?

주요 결과

• 제안된 방법은 LRW 데이터셋에서 기존 최고 성능인 84.41%의 정확도를 달성하여 기준 모델 대비 1.21% 향상되었다.
• 더 도전적인 LRW-1000 벤치마크에서는 38.79%의 정확도를 기록하여 기준 모델 대비 0.44% 향상되었고, 새로운 최고 성능 기록을 수립하였다.
• LMIM 구성 요소만으로도 LRW에서 기준 정확도 82.14%에서 83.33%로 향상되었으며, 세분화된 차이를 포착하는 데의 효과를 입증하였다.
• GMIM 구성 요소는 핵심 프레임에 대한 주의를 크게 향상시켰다: 시각화 결과 GLMIM 적용 후 클래스 간 분산이 2.5배 증가하여 클래스 간 분리 능력이 향상됨을 확인하였다.
• GMIM로만 훈련된 모델은 외부 경계 지도 없이도 애너테이션된 단어 경계 내 프레임에 더 높은 주의 가중치를 할당하고, 인접한 맥락 프레임에는 낮은 가중치를 할당하는 경향을 보였다.
• 제거 실험 결과, LMIM와 GMIM가 독립적으로나마 상호 보완적으로 기여하며, LRW에서는 GMIM가 가장 큰 성능 향상을 제공하고, LRW-1000에서는 다소 작지만 일관된 성능 향상을 기록하였다.