[논문 리뷰] Speaker activity driven neural speech extraction

Marc Delcroix, Kateřina Žmolíková외 3명|arXiv (Cornell University)|2021. 01. 14.

Speech and Audio Processing참고 문헌 29인용 수 4

한 줄 요약

이 논문은 등록 발화문이나 영상 자료 없이도 단일 채널 혼합 음성에서 목표 음성을 추출할 수 있도록 말하는 사람의 활동 정보를 보조적 단서로 사용하는 ADEnet이라는 신경망 음성 추출 모델을 제안한다. 다이아라이제이션과 조합할 경우, 특히 고중복 조건에서 ASR 성능을 25% 상대적으로 향상시키며, 등록 기반 방법에 비해 실용적이고 다용도적인 대안임을 입증한다.

ABSTRACT

Target speech extraction, which extracts the speech of a target speaker in a mixture given auxiliary speaker clues, has recently received increased interest. Various clues have been investigated such as pre-recorded enrollment utterances, direction information, or video of the target speaker. In this paper, we explore the use of speaker activity information as an auxiliary clue for single-channel neural network-based speech extraction. We propose a speaker activity driven speech extraction neural network (ADEnet) and show that it can achieve performance levels competitive with enrollment-based approaches, without the need for pre-recordings. We further demonstrate the potential of the proposed approach for processing meeting-like recordings, where the speaker activity is obtained from a diarization system. We show that this simple yet practical approach can successfully extract speakers after diarization, which results in improved ASR performance, especially in high overlapping conditions, with a relative word error rate reduction of up to 25%.

연구 동기 및 목표

• 사전 기록된 등록 발화문에 의존하지 않는 말하는 사람의 활동 기반 음성 추출 방법을 개발하기 위해.
• 말하는 사람의 활동 정보가 단일 채널 음성 추출에 실용적이고 효과적인 보조적 단서로 기능할 수 있는지 조사하기 위해.
• ADEnet을 다이아라이제이션 시스템과 통합하여 회의 유사 기록에서의 ASR 성능 향상 여부를 평가하기 위해.
• 말하는 사람의 활동 단서만으로도 고품질의 음성 추출이 가능함을 입증하기 위해, 특히 다중 말하는 사람이 동시에 활동하는 중복 영역에서도 성능을 유지할 수 있도록.

제안 방법

• ADEnet은 음성 혼합물과 시간에 동기화된 말하는 사람의 활동 신호를 입력으로 사용하는 단일 채널 신경망이다.
• 말하는 사람의 활동 신호는 각 프레임마다 목표 말하는 사람이 활동 중인지 여부를 나타내며, 이는 추출 네트워크에 대한 공간-시간 마스크 역할을 한다.
• 네트워크 아키텍처는 스킵 연결을 갖춘 U-Net 유사 인코더-디코더 구조를 사용하여 세밀한 스펙트럼 세부 정보를 유지한다.
• 모델은 추출된 음성과 기준 음성 간의 신호 대 잡음비(SDR)를 최대화하는 손실 함수를 사용해 엔드 투 엔드로 훈련된다.
• 실제 환경에서는 다이아라이제이션 시스템(예: TS-VAD)으로부터 활동 신호를 확보하여 즉시 통합이 가능하다.
• 불완전한 활동 신호 조건에서도 성능이 유지되며, 노이즈 또는 중복 영역이 포함된 경우에도 안정적인 성능을 보인다.

실험 결과

연구 질문

• RQ1 등록 발화문 없이도 말하는 사람의 활동 정보만으로 효과적인 보조적 단서로 기능할 수 있는가?
• RQ2 오라클 조건과 노이즈가 있는 활동 조건에서 ADEnet은 SpeakerBeam과 같은 등록 기반 방법보다 어떻게 성능을 내는가?
• RQ3 회의 유사 기록에서 다이아라이제이션과 통합했을 때 ADEnet이 ASR 성능 향상에 얼마나 기여하는가?
• RQ4 다중 말하는 사람이 동시에 활동하는 중복 영역에서는 ADEnet이 어떻게 대처하는가?

주요 결과

• 오라클 말하는 사람의 활동 정보를 사용할 경우, ADEnet는 10.2 dB의 더 높은 신호 대 잡음비(SDR)를 기록했으며, 이는 SpeakerBeam의 9.4 dB보다 높다. 이는 등록 발화문이 필요하지 않다는 점에서 의미가 있다.
• 노이즈가 있는 훈련 데이터를 사용한 ADEnet-mix는 비활성 마스킹 및 기본 SpeakerBeam보다 뛰어난 성능을 보이며, 특히 노이즈가 많거나 활동 신호가 불완전한 조건에서 유의미한 향상을 보였다.
• TS-VAD와 통합된 ADEnet는 고중복 조건(OV40)에서 cpWER을 최대 25% 감소시켰으며, ADEnet 없이 사용할 경우 33.6%였던 WER 대비 29.8%로 향상되었다.
• 말하는 사람의 활동 신호 품질이 다양하더라도 안정적인 성능을 유지하여, 다이아라이제이션 오류나 중복 영역에 대한 저항력이 있음을 시사한다.
• qualitative 예시를 통해 ADEnet는 중복 영역에서도 효과적인 단일 채널 음성 추출이 가능함을 입증하였다.