[논문 리뷰] Self-supervised Learning of Visual Speech Features with Audiovisual Speech Enhancement.

Zakaria Aldeneh, Anushree Prasanna Kumar외 5명|arXiv (Cornell University)|2020. 04. 25.

Speech and Audio Processing참고 문헌 20인용 수 5

한 줄 요약

이 논문은 청각적 특징을 활용하여 음성 품질을 향상시키는 자기지도 학습 기반의 청각음성 음성 강화 모델을 제안하며, 모델이 고수준의 음성 활동 탐지 및 세밀한 발음 정보를 학습하고 있음을 드러낸다. 학습된 시각적 임베딩은 추가적인 지도 학습 없이도 비세미 분류에 효과적임을 입증하여, 시각적 음성 응용 분야에서의 유용성을 보여준다.

ABSTRACT

We present an introspection of an audiovisual speech enhancement model. In particular, we focus on interpreting how a neural audiovisual speech enhancement model uses visual cues to improve the quality of the target speech signal. We show that visual features provide not only high-level information about speech activity, i.e. speech vs. no speech, but also fine-grained visual information about the place of articulation. An interesting byproduct of this finding is that the learned visual embeddings can be used as features for other visual speech applications. We demonstrate the effectiveness of the learned visual representations for classifying visemes (the visual analogy to phonemes). Our results provide insight into important aspects of audiovisual speech enhancement and demonstrate how such models can be used for self-supervision tasks for visual speech applications.

연구 동기 및 목표

• 신경 청각음성 음성 강화 모델에서 시각적 신호가 음성 품질 향상에 어떻게 활용되는지 조사하기 위해.
• 특히 이러한 모델이 세밀한 발음 정보를 포착하는지 여부를 포함해, 학습된 시각적 표현의 성격을 분석하기 위해.
• 학습된 이러한 시각적 특징이 후행 작업인 시각적 음성 인식 과제로 이식 가능한지 평가하기 위해.
• 자기지도 학습을 통한 시각적 음성 표현이 비세미 분류에 효과적으로 활용될 수 있음을 입증하기 위해.

제안 방법

• 저자는 쌍화된 음성 및 영상 입력을 사용하여 노이즈가 있는 입력에서 청소된 음성을 재구성하는 데 목적이 있는 신경 청각음성 음성 강화 모델을 훈련한다.
• 모델의 각 레이어에서 시각적 특징의 기여도를 해석하기 위해 레이어별 기여도 분석(LRP)을 수행한다.
• 훈련된 모델에서 추출한 시각적 특징을 후행 작업인 비세미 분류 헤드의 입력으로 사용한다.
• 학습된 시각적 표현의 품질을 평가하기 위해 시각적 비세미 분류 벤치마크에서 모델을 평가한다.
• 분석은 시각적 특징이 음성 존재 여부 외에도 발음 위치와 같은 세밀한 발음 정보를 포착하고 있는지 여부를 규명하는 데 집중한다.

실험 결과

연구 질문

• RQ1 청각신경망 모델에서 시각적 특징은 음성 강화 과정에서 어떻게 기여하는가?
• RQ2 학습된 시각적 표현에 포함된 시각적 정보는 일반적인 것인지, 아니면 세밀한 정보인지?
• RQ3 음성 강화 과정을 통해 학습된 시각적 특징은 다른 시각적 음성 과제로 이식 가능한가?
• RQ4 학습된 시각적 특징이 발음 위치와 같은 발음 세부 정보를 어느 정도 포착하는가?

주요 결과

• 모델은 음성과 비음성 간의 구분 외에도 발음 위치에 대한 세밀한 정보를 포함하는 시각적 특징을 학습한다.
• 청각음성 강화 모델에서 추출한 시각적 특징은 비세미 분류에서 뛰어난 성능을 보이며, 이는 그 표현 품질이 뛰어남을 시사한다.
• 학습된 시각적 표현은 추가적인 훈련이나 지도 학습 없이도 후행 시각적 음성 과제에서 효과적으로 활용될 수 있다.
• 분석 결과, 시각적 신호가 신호 품질 향상과 발음 세부 정보 복구에 둘 다 기여하는 방식으로 세밀하게 활용되고 있음을 확인했다.