[논문 리뷰] Selective Listening by Synchronizing Speech with Lips

Zexu Pan, Ruijie Tao외 2명|arXiv (Cornell University)|2021. 06. 14.

Speech and Audio Processing인용 수 4

한 줄 요약

이 논문은 사전 등록된 음성 기준이 필요 없이도 선택적 청취를 가능하게 하기 위해 입술 움직임을 시각적 유인자로 사용하는 자기지도 학습 기반 음성-시각적 화자 추출 모델을 제안한다. 음성-입술 동기화를 자기지도 학습 전훈 신호로 활용함으로써 재진입 모델은 목표 화자 추출에서 최신 기술 수준(SOTA) 성능을 달성하였으며, 특히 시각적 가림 및 교차 도메인 조건에서 뛰어난 성능을 보였다.

ABSTRACT

A speaker extraction algorithm seeks to extract the speech of a target speaker from a multi-talker speech mixture when given a cue that represents the target speaker, such as a pre-enrolled speech utterance, or an accompanying video track. Visual cues are particularly useful when a pre-enrolled speech is not available. In this work, we don't rely on the target speaker's pre-enrolled speech, but rather use the target speaker's face track as the speaker cue, that is referred to as the auxiliary reference, to form an attractor towards the target speaker. We advocate that the temporal synchronization between the speech and its accompanying lip movements is a direct and dominant audio-visual cue. Therefore, we propose a self-supervised pre-training strategy, to exploit the speech-lip synchronization cue for target speaker extraction, which allows us to leverage abundant unlabeled in-domain data. We transfer the knowledge from the pre-trained model to the attractor encoder of the speaker extraction network. We show that the proposed speaker extraction network outperforms various competitive baselines in terms of signal quality, perceptual quality, and intelligibility, achieving state-of-the-art performance.

연구 동기 및 목표

• 사전에 등록된 음성 기준이 필요 없는 단일 채널 음성 분리에서 칵테일 파티 문제를 해결하기 위해.
• 특히 입술 움직임을 포함한 시각적 단서를 청각 주의의 강력하고 실시간 가능한 유인자로 활용하기 위해.
• 대규모 비라벨링 도메인 내 데이터를 활용하기 위해 음성-입술 동기화 기반 자기지도 전훈 전략을 개발하기 위해.
• 시각 입력이 신뢰할 수 없거나 불일치하는 경우, 즉 시각적 가림 및 교차 데이터셋 시나리오에서의 일반화 능력을 향상시키기 위해.
• 딥 러닝 프레임워크 내에서 음성 및 시각 스트림을 동기화함으로써 인간의 재진입 기반 다중모달 주의를 모방하기 위해.

제안 방법

• 비페어링이고 비라벨링된 데이터에서 강력한 음성-시각 표현을 학습하기 위해 음성-입술 동기화를 감독 신호로 사용하는 자기지도 전훈 전략을 제안한다.
• 에델만의 재진입 이론을 영감으로 삼아, 양방향 주의 메커니즘을 통해 음성 및 시각 스트림을 동적으로 동기화하는 재진입 모델을 설계한다.
• 사전에 등록된 음성 신호 대신 목표 화자의 얼굴 트랙을 보조 참조(유인자)로 사용함으로써 인간-로봇 상호작용에서 실시간 자기 등록이 가능해진다.
• 사전에 학습된 음성-시각 모델의 지식을 화자 추출 네트워크의 유인자 인코더에 전이함으로써 목표 화자 분리 성능을 향상시킨다.
• 퍼셉추얼 품질을 유지하면서도 목표 화자 음성을 복원하기 위해 U-넷 유사 아키텍처를 사용한 타임 도메인 음성 분리 기법을 적용한다.
• 학습 중 얼굴 트랙을 무작위로 검게 처리하는 전략을 도입하여 시각적 가림을 시뮬레이션함으로써 추적 실패에 대한 강건성을 향상시킨다.

실험 결과

연구 질문

• RQ1 라벨링된 음성 기준이 필요 없이 음성-입술 동기화를 자기지도 신호로 사용하여 화자 추출 모델을 전훈할 수 있는가?
• RQ2 사전에 등록된 음성이 없는 상황에서 시각적 얼굴 트랙이 목표 화자 추출에 얼마나 효과적인 유인자로 기능하는가?
• RQ3 얼굴이 부분적 또는 완전히 가려진 시각적 가림 조건에서 재진입 모델의 성능 유지 능력은 어느 정도인가?
• RQ4 스튜디오 녹음된 데이터에서 와일드, 제약 없는 영상 데이터로의 도메인 간 일반화 능력은 어떻게 평가되는가?
• RQ5 기존의 화자 추출 기준 모델 대비 제안된 방법이 신호 품질, 이해 가능성 및 퍼셉추얼 품질 측면에서 우수한 성능을 보일 수 있는가?

주요 결과

• 재진입 모델은 시각적 가림 데이터로 훈련된 경우, VoxCeleb2-2mix-occl 테스트 세트에서 10.27 dB SI-SDRi와 0.909 PESQ를 달성하여 모든 기준 모델을 초월한다.
• 실제로 가시 영상 시간의 10%만 유효하게 사용되는 조건(즉, 10%의 언면이 가로막히지 않은 경우)에서도 재진입 모델은 거의 7 dB의 SI-SDRi 성능을 기록하여 부분적 가림에 대한 강건성을 입증한다.
• LRS2 및 LRS3 와일드 영상 데이터셋에서 재진입 모델은 12.66 dB SI-SDRi와 1.036 PESQ를 기록하여 모든 지표에서 TDSE-I 및 MuSE-I를 모두 초월한다.
• Grid 및 TCD-TIMIT 스튜디오 데이터셋에서는 재진입 모델이 14.96 dB SI-SDRi와 1.118 PESQ를 기록하여 강력한 교차 도메인 일반화 능력을 보였으며, Grid 데이터셋에서는 SI-SDRi와 PESQ 측면에서 MuSE-I가 약간 우월하다.
• 가림 데이터로 훈련된 모델은 그렇지 않은 모델보다 유의미하게 더 뛰어난 일반화 능력을 보이며, 모든 평가 설정에서 재진입 모델이 가장 높은 성능 격차를 유지한다.