[논문 리뷰] Vid2speech: Speech Reconstruction from Silent Video

Ariel Ephrat, Bezalel Peleg|arXiv (Cornell University)|2017. 01. 02.

Speech and Audio Processing참고 문헌 13인용 수 8

한 줄 요약

이 논문은 수작업 특징 공학을 회피하고 전체 얼굴에서 직접 시각적 특징을 학습함으로써 침묵 영상 프레임에서 이해할 수 있는 음성으로 복원하는 엔드 투 엔드 CNN 기반 모델을 제안한다. 이 모델은 GRID 데이터셋에서 최신 기술 수준의 단어 이해도를 달성하며, LPC 및 LSP 표현을 사용한 회귀 기반 음성 특징 예측을 통해 어휘 외 단어(OOV) 복원에 있어 유망한 성능을 보여준다.

ABSTRACT

Speechreading is a notoriously difficult task for humans to perform. In this paper we present an end-to-end model based on a convolutional neural network (CNN) for generating an intelligible acoustic speech signal from silent video frames of a speaking person. The proposed CNN generates sound features for each frame based on its neighboring frames. Waveforms are then synthesized from the learned speech features to produce intelligible speech. We show that by leveraging the automatic feature learning capabilities of a CNN, we can obtain state-of-the-art word intelligibility on the GRID dataset, and show promising results for learning out-of-vocabulary (OOV) words.

연구 동기 및 목표

• 수작업 특징 공학에 의존하지 않고 침묵 영상에서 음성 음향을 복원하는 엔드 투 엔드 딥 러닝 모델을 개발하는 것.
• 입술 영역이 아닌 전체 얼굴의 시각적 입력과 시간적 맥락을 활용하여 시각적 음성 처리에서 음성 이해도를 향상시키는 것.
• 분류 작업이 아닌 회귀 문제로 음성독해를 모델링하여 훈련 중에 보이지 않은 어휘 외 단어(OOV)를 복원할 수 있도록 하는 것.
• 원시 영상 프레임을 기반으로 컨volutional 신경망을 사용하여 음성 복원을 위한 강건한 시각적 표현을 학습하는 것의 가능성을 입증하는 것.

제안 방법

• 모델는 3차원 컨volution 신경망(3D-CNN)을 사용하여 연속적인 침묵 영상 프레임에서 시공간적 특징을 추출하며, 발성 역학을 캡처하기 위해 전체 얼굴을 처리한다.
• 음성 특징은 8차 선형 예측 코딩(LPC)을 사용한 후 선형 스펙트럼 쌍(LSP) 분해를 거쳐 매 40ms 프레임당 9차원의 벡터로 표현된다.
• 두 개의 연속된 LSP 벡터가 연결되어 예측 대상으로 사용되는 18차원의 특징 벡터 $ S_i \in \mathbb{R}^{18} $를 형성한다.
• 예측된 LSP 특징에서 무음 자극을 사용하여 웨이브폼을 합성함으로써 시각 입력에서 이해할 수 있는 음성을 복원할 수 있다.
• 예측된 LSP 특징와 진짜 LSP 특징 간의 회귀 손실을 사용하여 엔드 투 엔드로 모델을 훈련함으로써 원시 음성에서 자연스러운 감독을 가능하게 한다.
• 시간적 맥락은 고정 길이의 겹치는 영상 클립을 사용하여 유지되며, 이는 네트워크가 발음 전이를 모델링하고 비세미를 해석하는 데 도움이 된다.

실험 결과

연구 질문

• RQ1 수작업 특징 없이 CNN 기반 엔드 투 엔드 모델이 침묵 영상 프레임에서 이해할 수 있는 음성을 복원할 수 있는가?
• RQ2 입술 영역이 아닌 전체 얼굴을 사용할 경우 음성 복원 성능이 유의미하게 향상되는가?
• RQ3 시각 데이터로 훈련된 회귀 기반 모델이 훈련 중에 나타나지 않은 어휘 외 단어(OOV)를 복원할 수 있는가?
• RQ4 기존 연구 대비 단어 이해도와 새로운 어휘에 대한 강건성 측면에서 모델의 성능은 어떻게 비교되는가?

주요 결과

• 테스트 시 연설자 S4에서 음성 전용 조건에서는 82.6%의 단어 이해도를, 음성-시각 조건에서는 79.9%를 기록하여 이전 연구를 크게 능가했다.
• 입술 영역이 아닌 전체 얼굴을 사용함으로써 테스트 오차가 40% 감소하여 통합적인 얼굴 특징 학습의 중요성을 입증했다.
• 전체 어휘에 대해 음성-시각 클립에서 51.9%의 이해도를 달성하여 내부 어휘 단어 복원에서 뛰어난 성능을 보였다.
• OOV 단어 복원의 경우 청취자는 무작위 선택보다 5.16배 더 자주 훈련 세트에 포함되지 않은 숫자를 정확히 식별했으며, 일반화 가능성에 유망한 신호를 보였다.
• 다른 연설자(S2)에서 테스트한 결과 79%의 이해도를 유지하여 다양한 연설자 간 일반화 능력을 확인했다.
• 결과적으로 엔드 투 엔드 학습을 통해 CNN이 시간적·공간적 시각 패턴을 해석함으로써, 훈련 중에 보이지 않는 단어에 대해서도 효과적인 발음-음향 매핑을 가능하게 했다.