[논문 리뷰] N-HANS: Introducing the Augsburg Neuro-Holistic Audio-eNhancement System

Shuo Liu, Gil Keren외 1명|arXiv (Cornell University)|2019. 11. 16.

Speech and Audio Processing참고 문헌 16인용 수 4

한 줄 요약

N-HANS는 실외 환경의 음성 신호를 향상시키기 위한 텐서플로우 기반 파이썬 툴킷으로, 양성 및 음성 기준 녹음본에 조건화된 이중 브랜치 ±보조 네트워크를 통해 노이즈 제거, 소스 분리 및 선택적 노이즈 억제를 가능하게 한다. 이는 리버리스피치 및 오디오셋 벤치마크에서 최고 성능을 기록하며, SDR는 최대 11.86 dB, PESQ는 0.92를 기록하여 다양한 실제 환경 조건에서도 뛰어난 강건성을 입증한다.

ABSTRACT

N-HANS is a Python toolkit for in-the-wild audio enhancement, including speech, music, and general audio denoising, separation, and selective noise or source suppression. The functionalities are realised based on two neural network models sharing the same architecture, but trained separately. The models are comprised of stacks of residual blocks, each conditioned on additional speech or environmental noise recordings for adapting to different unseen speakers or environments in real life. In addition to a Python API, a command line interface is provided to researchers and developers, both of which are documented at https://github.com/N-HANS/N-HANS. Experimental results indicate that N-HANS achieves outstanding performance, and ensure its reliable usage in real-life audio and speech-related tasks, reaching very high audio and speech quality.

연구 동기 및 목표

• 보이지 않는 노이즈와 간섭 소스에 의해 손상된 실세계 음성 신호를 향상시키는 과제를 해결하기 위해, 특히 저SNR 및 복잡한 음향 환경에서의 성능을 향상시키기 위해.
• 동일한 아키텍처와 공유 컴포onent을 사용하여 노이즈 제거, 소스 분리 및 선택적 노이즈 억제를 통합적으로 수행할 수 있는 시스템을 개발하기 위해.
• 말하기나 환경 경고 신호와 같은 원하는 신호를 유지하면서 음성 품질과 이해 가능성을 향상시키기 위해.
• 기준 기반 조건화를 통해 훈련 데이터를 초월한 일반화 능력을 향상시키기 위해, 보이지 않는 화자 및 환경에 적응할 수 있도록 하기 위해.

제안 방법

• 시스템은 양성 및 음성 기준 조건화를 위한 동일한 잔차 신경망 아키텍처 두 개를 사용하여 ±보조 네트워크를 구성한다.
• 노이즈가 있는 신호, 양성 기준, 음성 기준 음성의 로그 크기 STFT가 별도의 브랜치에 입력되어 양성 및 음성 구성 요소의 임베딩 벡터를 생성한다.
• 향상 네트워크는 노이즈가 있는 신호 입력과 함께 양성 및 음성 임베딩을 조합하여 개선된 출력 신호를 생성한다.
• 말의 자연스러움을 유지하고 왜곡을 최소화하기 위해 청각적 및 목적적 손실 함수의 조합을 사용하여 엔드 투 엔드로 모델을 훈련시킨다.
• 음성 및 음성 처리 파이프라인에 통합하기 위해 명령줄 인터페이스와 파이썬 API를 제공한다.
• 오디오 기능 추출을 위해 오픈XBOW 및 auDeep와의 플러그인 통합을 지원한다.

실험 결과

연구 질문

• RQ1 기준 조건화를 사용하여 노이즈 제거, 분리 및 선택적 억제와 같은 다수의 음성 향상 작업을 하나의 신경망 아키텍처로 효과적으로 처리할 수 있는가?
• RQ2 오직 기준 녹음본만을 사용하여, 보이지 않는 화자 및 환경 노이즈 조건에 대해 모델이 얼마나 잘 일반화되는가?
• RQ3 고정 모델 기반 기준 대비, 기준 기반 조건화가 저SNR 및 복잡한 음향 환경에서 성능 향상에 얼마나 기여하는가?
• RQ4 시스템은 목표로 하는 노이즈나 간섭만 억제하면서도 유용한 비음성 신호(예: 경보음)를 유지할 수 있는가?
• RQ5 다양한 신호 대 노이즈 비율(SNR)이 향상된 음성의 청각적 및 목적적 품질에 어떤 영향을 미치는가?

주요 결과

• 리버리스피치 및 오디오셋 테스트 세트에서 N-HANS는 10 dB 입력 SNR에서 신호 대 왜곡 비율(SDR)이 11.86 dB를 기록하여 강력한 노이즈 억제 능력을 입증했다.
• 8 dB의 양성 및 음성 노이즈를 가진 선택적 노이즈 제거에서 시스템은 PESQ 점수 0.90과 SDR 12.12 dB를 기록하여 높은 음성 품질과 뛰어난 강건성을 입증했다.
• VoxCeleb에서의 음성 분리 작업에서 N-HANS는 모든 혼합 신호에서 SDR 4.79 dB를 기록했으며, Deep Clustering(0.84 dB) 및 Deep Attractor(1.81 dB)를 능가했다.
• 고SNR 조건에서 시스템은 높은 이해 가능성을 유지했으며, STOI 점수는 0.90에 도달하여 음성 명료성이 유지됨을 나타냈다.
• 10 dB SNR에서 멜 체프스트랄 왜곡(MCD)은 5.98로 감소하여 최소한의 스펙트럼 왜곡과 높은 신호 정밀도를 나타냈다.
• 다양한 노이즈 유형과 화자 조합에 걸쳐 일관된 성능을 유지하여, 보이지 않는 환경으로의 일반화 능력이 확인되었다.