[논문 리뷰] WEnets: A Convolutional Framework for Evaluating Audio Waveforms

Andrew Catellier, Stephen Voran|arXiv (Cornell University)|2019. 09. 19.

Speech and Audio Processing참고 문헌 21인용 수 10

한 줄 요약

WEnets는 참조 신호가 없이도 원시 음성 웨이브폼을 직접 처리하여 음성 품질과 이해도를 예측하는 새로운 1D 컨볼루션 신경망 아키텍처이다. WEnets의 전용 버전인 NAWEnet은 단지 50%의 학습 데이터만으로도 PESQ, POLQA, STOI와 높은 상관관계(ρseg > 0.91)를 달성하며, 기존의 참조 없는 방법들보다 뛰어난 성능을 보이며 웨이브폼에서 종합적인 최적의 특징을 엔드 투 엔드로 학습한다.

ABSTRACT

We describe a new convolutional framework for waveform evaluation, WEnets, and build a Narrowband Audio Waveform Evaluation Network, or NAWEnet, using this framework. NAWEnet is single-ended (or no-reference) and was trained three separate times in order to emulate PESQ, POLQA, or STOI with testing correlations 0.95, 0.92, and 0.95, respectively when training on only 50% of available data and testing on 40%. Stacks of 1-D convolutional layers and non-linear downsampling learn which features are important for quality or intelligibility estimation. This straightforward architecture simplifies the interpretation of its inner workings and paves the way for future investigations into higher sample rates and accurate no-reference subjective speech quality predictions.

연구 동기 및 목표

• 수작업 특징에 의존하지 않고 원시 웨이브폼을 직접 평가할 수 있는 융통성 있는 딥 러닝 프레임워크인 WEnets를 개발하는 것.
• 원시 웨이브폼을 사용하여 참조 없는(싱글엔드) 넓이 대역 음성 품질과 이해도를 예측할 수 있도록 하는 것.
• 최소한의 학습 데이터로 기존의 전반적 參照 기준 메트릭(PESQ, POLQA, STOI)과 높은 상관관계를 달성하는 것.
• 단순한 아키텍처를 통해 종합적인 특징을 엔드 투 엔드로 학습함으로써 모델의 해석 가능성 간소화하는 것.
• 프레임워크를 더 높은 샘플링 주파수와 음악 및 광대역 음성과 같은 다양한 오디오 응용 분야로 확장하는 것.

제안 방법

• ReLU 또는 PReLU 활성화 함수를 사용하고 비선형 다운샘플링을 포함한 스택된 컨볼루션 블록으로 구성된 1D 컨볼루션 신경망 프레임워크인 WEnets를 설계한다.
• 원시 웨이브폼을 다운샘플링하기 위해 첫 번째 레이어에서 평균 풀링을 사용하여 음성 신호에 대해 강건성을 향상시킨다. 최대 풀링보다 유리하다.
• NAWEnet—WEnets의 넓이 대역 버전—을 원시 웨이브폼에서 엔드 투 엔드로 학습하여 PESQ, POLQA 또는 STOI 점수를 예측한다.
• 필터 깊이를 점차 증가시키고 공간적 다운샘플링을 수행하는 다단계 아키텍처를 사용하여 웨이브폼에서 계층적 특징을 추출한다.
• 필터 길이(fₗ = 11, 첫 번째 레이어에서), 필터 수(fₙ), 다운샘플링 비율(dₒ) 등의 하이퍼파라미터를 최적화하며, PReLU가 리키 레이어보다 성능이 뛰어나다.
• 133.5시간의 학습 코퍼스와 106.8시간의 테스트 데이터를 사용하며, 다양한 소스 데이터셋 간의 신중한 데이터 분할을 통해 일반화 능력을 평가한다.

실험 결과

연구 질문

• RQ1 원시 웨이브폼에서 직접 학습된 딥 컨볼루션 네트워크가 기존의 전반적 參照 기준 음성 품질 및 이해도 메트릭과 높은 상관관계를 달성할 수 있는가?
• RQ2 스펙트로그램이나 멜-세프스트랄 계수와 같은 수작업 특징에 의존하는 전통적 방법과 비교해, 웨이브폼에서 엔드 투 엔드로 특징을 학습하는 방식은 어떤가?
• RQ3 단일 네트워크 아키텍처가 다양한 음성 조건(예: 새로운 화자, 낮은 음성 활동)에 대해 얼마나 잘 일반화되는가?
• RQ4 활성화 함수의 선택(예: PReLU 대비 ReLU)이 웨이브폼 평가 작업에서 성능에 상당한 영향을 미치는가?
• RQ5 이 프레임워크는 더 높은 샘플링 주파수와 음악 또는 광대역 음성과 같은 다른 오디오 모odal리티로 확장될 수 있는가?

주요 결과

• NAWEnet은 가용 데이터의 50%만으로 학습하고 40%로 테스트할 때 PESQ, POLQA, STOI와 각각 ρseg > 0.91의 세그먼트별 상관관계를 달성한다.
• 모델은 PESQ와 ρseg = 0.95, POLQA와 ρseg = 0.92, STOI와 ρseg = 0.95를 기록하며, 동일한 벤치마크에서 다른 참조 없는 방법들을 능가한다.
• 충분한 학습 데이터(예: 학습 세트의 15%)가 이러한 조건을 포함할 경우, NAWEnet은 새로운 화자와 낮은 활동도를 가진 음성에도 잘 일반화된다.
• 각 레이어에서 학습 가능한 파rameter를 가진 PReLU 활성화 함수의 사용은 표준 ReLU와 리키 레이어보다 성능을 향상시키며, 특히 초기 레이어에서 두드러진다.
• 첫 번째 레이어에서 평균 풀링이 최대 풀링보다 성능이 뛰어나며, 이는 웨이브폼 표현에서 모든 음성 샘플이 동일하게 중요하기 때문일 것이다.
• 프레임 손실이 있는 데이터셋 8에서는 데이터셋 7보다 성능이 향상되었으며, 이는 더 큰 크기(학습 데이터의 46%) 때문일 것으로 보이며, 이는 데이터 양이 강건성 향상에 기여함을 시사한다.