[논문 리뷰] VoiceFilter-Lite: Streaming Targeted Voice Separation for On-Device Speech Recognition

Quan Wang, Ignacio López Moreno외 9명|arXiv (Cornell University)|2020. 09. 09.

Speech and Audio Processing참고 문헌 25인용 수 10

한 줄 요약

VoiceFilter-Lite는 스피커 임bedding을 사용해 대상이 아닌 음성을 선택적으로 억제함으로써 ASR 성능을 향상시키는 작고 실시간으로 장치 내에서 작동하는 음성 분리 모델이다. 이는 청소 및 비음성 노이즈 조건에서도 정확도를 유지하면서도, 음성 겹침 조건에서 27.7% 상대적 WER 향상을 달성한다. 이는 비대칭 손실 함수와 적응형 억제 강도를 통해 달성되며, 2.2MB, 8비트 정수 모델로 압축되어도 청소 또는 비음성 노이즈 조건에서 WER에 변화가 없고, 음성 겹침 조건에서는 27.7% 상대적 WER 향상을 이룬다.

ABSTRACT

We introduce VoiceFilter-Lite, a single-channel source separation model that runs on the device to preserve only the speech signals from a target user, as part of a streaming speech recognition system. Delivering such a model presents numerous challenges: It should improve the performance when the input signal consists of overlapped speech, and must not hurt the speech recognition performance under all other acoustic conditions. Besides, this model must be tiny, fast, and perform inference in a streaming fashion, in order to have minimal impact on CPU, memory, battery and latency. We propose novel techniques to meet these multi-faceted requirements, including using a new asymmetric loss, and adopting adaptive runtime suppression strength. We also show that such a model can be quantized as a 8-bit integer model and run in realtime.

연구 동기 및 목표

• 청소 또는 비음성 노이즈 조건에서 성능 저하 없이 다중 대화자 환경에서 ASR 성능을 향상시키는 경량의 장치 내 음성 분리 모델을 개발하는 것.
• 최소한의 CPU, 메모리 및 배터리 사용량으로 자원 제약이 있는 장치에서 실시간 스트리밍 추론을 가능하게 하는 것.
• 오디오 재구성 없이 ASR 입력 특징(예: 필터뱅크 에너지)에 직접 작동하도록 설계하여 계산 오버헤드를 줄이는 것.
• 항상 무해한 모델로 설계하여 ASR 성능을 해치지 않으면서도 음성 겹침 상황에서 상당한 성능 향상을 제공하는 것.
• 저지연과 높은 효율성으로 장치 내에서 효율적으로 실행 가능한 8비트 정수 모델을 구현하는 것.

제안 방법

• 모델는 음성 특징(예: 스택드 로그 멜-필터뱅크 에너지)을 입력으로 받아 향상된 특징을 출력하는 프레임 단위 프론트엔드 프로세서로 작동하며, 오디오 재구성을 생략한다.
• 기준 오디오 클립에서 추출한 스피커 구분용 d-벡터를 사용해 분리 조건을 설정함으로써 목표 음성 필터링을 가능하게 한다.
• 훈련 중 과잉 억제를 방지하기 위해 비대칭 L2 손실 함수를 도입하여, 비음성 또는 청소 조건에서 성능 저하가 발생하지 않도록 보장한다.
• 추론 시 동적으로 입력 신호 특성에 따라 억제 강도를 조절하기 위해 이동 평균 계수(β=0.8)를 사용하는 적응형 억제 강도를 적용한다.
• 모델는 8비트 정수 형식으로 양자화되어 있어 장치 내에서 효율적인 추론이 가능하며, 메모리 및 계산 오버헤드를 최소화한다.
• 저지연 스트리밍 추론을 지원하기 위해 이중 방향 RNN이나 시간적 컨볼루션을 피하는 아키텍처를 채택한다.

실험 결과

연구 질문

• RQ1 청소 또는 비음성 노이즈 조건에서 성능 저하 없이 음성 겹침 상황에서 ASR 성능을 향상시키는 경량의 장치 내 음성 분리 모델을 개발할 수 있는가?
• RQ2 다양한 음향 환경에서 항상 무해하게 유지되도록 과잉 억제를 방지할 수 있는 음성 분리 모델을 어떻게 훈련시킬 수 있는가?
• RQ3 노이즈 조건에서의 성능 향상과 청소 또는 비음성 환경에서의 강건성 사이의 최적의 트레이드오프는 무엇인가?
• RQ4 오디오 재구성 없이 ASR 입력 특징에 직접 작동하는 모델을 설계할 수 있는가? 이는 계산 비용을 줄이는 데 기여하는가?
• RQ5 실시간 저지연 추론을 장치 내에서 수행할 수 있도록 하는 최적의 양자화 및 아키텍처 선택은 무엇인가?

주요 결과

• VoiceFilter-Lite 모델은 현실적인 음성 쿼리 데이터셋에서 추가적인 음성 노이즈 조건에서 27.7% 상대적 WER 향상을 기록했으며(49.0% 상대적), 청소 또는 비음성 노이즈 조건에서는 WER에 변화가 없었다.
• 비대칭 L2 손실 함수를 사용함으로써 비음성 노이즈 조건에서 WER 저하를 표준 L2 손실 대비 80% 감소시켰으며, 동시에 음성 겹침 상황에서 강력한 성능 향상을 유지했다.
• β=0.8를 사용한 적응형 억제 강도는 비음성 노이즈 조건에서 WER 저하를 거의 0 수준으로 낮추었으며, 동시에 음성 겹침 조건에서 상당한 성능 향상을 달성했다.
• 모델는 2.2MB로 압축되고 8비트 정수 형식으로 양자화되어 있어, 최소한의 CPU, 메모리 및 배터리 영향으로 장치 내 실시간 추론이 가능했다.
• 스택드 필터뱅크 입력/출력 구성은 프레임 서브샘플링을 가능하게 하여 CPU 비용을 줄였으며, 동시에 맥락 정보를 유지하고 효율성을 향상시켰다.
• 모델는 다양한 입력 특징 유형(Fourier 변환 크기, 필터뱅크, 스택드 필터뱅크)에서 일관된 성능을 유지했으며, 효율성과 맥락 유지 측면에서 스택드 필터뱅크가 가장 선호되었다.