[논문 리뷰] Deep Learning for Visual Speech Analysis: A Survey

Changchong Sheng, Gangyao Kuang외 6명|arXiv (Cornell University)|2022. 05. 22.

Subtitles and Audiovisual Media인용 수 9

한 줄 요약

이 종합 검토는 시각적 음성 분석 분야의 딥러닝 기반 방법에 대해 포괄적인 리뷰를 제공하며, 주로 시각적 음성 인식(VSR)과 시각적 음성 생성(VSG)에 초점을 맞춘다. 최근의 발전, 벤치마크, 도전 과제 및 향후 방향성을 종합적으로 분석하며, 딥러닝이 최첨단 성능을 기록하는 동시에 인식 및 생성 작업 양면에서 발전시킨 이중적 역할을 부각시키고, 실세계 적용, 개인정보 보호, 내성성 측면에서의 핵심 격차를 밝혀낸다.

ABSTRACT

Visual speech, referring to the visual domain of speech, has attracted increasing attention due to its wide applications, such as public security, medical treatment, military defense, and film entertainment. As a powerful AI strategy, deep learning techniques have extensively promoted the development of visual speech learning. Over the past five years, numerous deep learning based methods have been proposed to address various problems in this area, especially automatic visual speech recognition and generation. To push forward future research on visual speech, this paper aims to present a comprehensive review of recent progress in deep learning methods on visual speech analysis. We cover different aspects of visual speech, including fundamental problems, challenges, benchmark datasets, a taxonomy of existing methods, and state-of-the-art performance. Besides, we also identify gaps in current research and discuss inspiring future research directions.

연구 동기 및 목표

• 딥러닝 기반 시각적 음성 분석(VSA) 기법, 특히 VSR 및 VSG에 대한 체계적이고 종합적인 리뷰를 제공하는 것.
• VSA 시스템의 실세계 적용을 저해하는 핵심 과제와 한계를 규명하는 것.
• VSR 및 VSG 작업 전반에 걸쳐 벤치마크 데이터셋, 평가 프로토콜 및 최첨단(SOTA) 성능을 분석하는 것.
• 실시간 추론, 레이블 효율성, 그리고 악성 공격에 대한 내성성과 같은 해결되지 않은 실용적 문제를 부각하는 것.
• 다국어 VSA, 개인정보 보호 기법, 메타버스 및 딥페이크 탐지 분야의 적용 등 향후 연구 방향을 제안하는 것.

제안 방법

• 딥러닝 기반 VSA 기법을 시각적 음성 인식(VSR)과 시각적 음성 생성(VSG)으로 분류하고 분석하며, 이들의 형식적 이중성을 강조한다.
• CNN, RNN, Transformer, GAN 등 대표적인 아키텍처를 VSR 및 VSG에 적용한 사례를 검토하며, 이중 학습 및 악성 학습 메커니즘을 포함한다.
• LRS2, LRS3, Common Voice 등의 표준 벤치마크를 사용해 성능을 평가하며, 단어 오류율(WER) 및 프레셰 음성 거리(FAD)와 같은 지표를 활용한다.
• 대규모 레이블링 데이터에 대한 의존도를 줄이기 위해 교차모달 대비 학습 및 지식 정복과 같은 자기지도 학습 및 레이블 효율적 학습 철학을 분석한다.
• 시공간적 패턴 모델링 향상을 위해 3D CNN, 2D+1D 컨볼루션, 어텐션 메커니즘 등의 아키텍처 혁신을 고려한다.
• 비접촉식 입술 읽기의 한계를 극복하기 위해 접촉 기반 운동 센서 등의 고급 센서 통합을 제안한다.

Figure 1 : Chronological milestones on visual speech analysis from 2016 to the present, including representative VSR and VSG methods, and audio-visual datasets. Handcrafted feature engineering methods dominated VSA until a transition took place in 2016 with the introduction of related deep networks.

실험 결과

연구 질문

• RQ1 실세계 적용을 저해하는 시각적 음성 인식 및 생성의 核심 과제는 무엇인가?
• RQ2 LRS2 및 LRS3와 같은 주요 벤치마크 데이터셋에서 딥러닝 모델의 성능는 어떻게 비교되는가?
• RQ3 실시간 추론, 내성성, 개인정보 보호 측면에서 현재의 VSA 시스템이 겪는 주요 한계는 무엇인가?
• RQ4 자기지도 학습 및 레이블 효율적 학습은 대규모 레이블링 데이터셋에 대한 의존도를 어떻게 줄일 수 있는가?
• RQ5 메타버스 및 다국어 응용 분야와 같은 신규 영역에서 VSA를 발전시키기 위해 가장 유망한 향후 연구 방향은 무엇인가?

주요 결과

• 최첨단 VSR 모델은 어텐션 메커니즘과 대규모 사전학습을 활용한 엔드 투 엔드 딥러닝 기반으로 LRS3 데이터셋에서 단어 오류율(WER)을 10% 이하로 달성한다.
• 확산 모델과 악성 학습 기반 VSG 방법은 시각적 품질과 시간적 일관성을 크게 향상시켰으며, FAD 점수는 실제 음성 영상과 유사해지고 있다.
• 현재의 VSA 시스템은 실시간 추론에 어려움을 겪고 있으며, 대부분의 방법이 프레임당 100ms 이상 소요되어 상호작용 시스템의 실용적 적용을 제한한다.
• 기존의 VSA 모델은 악성 공격 및 위조 공격에 취약하며, 주류 프레임워크에선 아직 체계적인 방어 메커니즘이 도입되지 않았다.
• 연합 학습 및 동형 암호화와 같은 개인정보 보호 기법은 얼굴 데이터의 민감성 고려 시에 여전히 미발전 상태이며, 연구가 부족한 상태이다.
• 다국어 VSA는 개발이 부족한 편이며, 대부분의 데이터셋과 모델이 영어 중심이어서 다국어 환경에서의 글로벌 적용에 큰 격차가 존재한다.

Figure 3 : The two formal-dual fundamental problems of visual speech analysis. Top part: Visual speech recognition or lip reading; Bottom part: Visual speech generation or lip sequence generation.