[논문 리뷰] RawBoost: A Raw Data Boosting and Augmentation Method applied to Automatic Speaker Verification Anti-Spoofing

Hemlata Tak, Madhu R. Kamble외 3명|arXiv (Cornell University)|2021. 11. 08.

Speech and Audio Processing인용 수 8

한 줄 요약

RawBoost는 원시 파형 기반 자동 화자 확인 방지 위협 탐지에 사용되는 데이터 증강 기법으로, 전화 통신으로 인한 왜곡을 시뮬레이션하기 위해 선형 및 비선형 컨볼루션 노이즈, 인파르스 신호에 의존하는 노이즈, 그리고 정적 신호에 독립적인 노이즈를 적용한다. 외부 데이터나 모델 수준의 수정 없이도 최신 엔드 투 엔드 시스템의 min t-DCF를 27% 상대적으로 향상시킨다.

ABSTRACT

This paper introduces RawBoost, a data boosting and augmentation method for the design of more reliable spoofing detection solutions which operate directly upon raw waveform inputs. While RawBoost requires no additional data sources, e.g. noise recordings or impulse responses and is data, application and model agnostic, it is designed for telephony scenarios. Based upon the combination of linear and non-linear convolutive noise, impulsive signal-dependent additive noise and stationary signal-independent additive noise, RawBoost models nuisance variability stemming from, e.g., encoding, transmission, microphones and amplifiers, and both linear and non-linear distortion. Experiments performed using the ASVspoof 2021 logical access database show that RawBoost improves the performance of a state-of-the-art raw end-to-end baseline system by 27% relative and is only outperformed by solutions that either depend on external data or that require additional intervention at the model level.

연구 동기 및 목표

• 원시 통화 환경에서의 위협 탐지에 적합한 도메인 내 훈련 데이터 부족 문제를 해결한다. 이는 훈련 세트에서 인코딩 및 전송 효과가 누락되어 있기 때문이다.
• 엔드 투 엔드 원시 파형 모델과 호환되는 데이터 증강 기법을 개발한다. 이는 SpecAugment와 같은 주파수 도메인 증강 기법을 사용할 수 없는 모델에 적합하다.
• 노이즈 기록이나 인파르스 응답과 같은 외부 데이터 소스에 의존하지 않고도, 알려지지 않은 인코딩 및 전송 왜곡에 대한 위협 탐지 성능을 높인다.
• 데이터, 응용, 모델에 관계없이 일반화 가능한 방법을 설계하여 유사한 간섭 변수가 존재하는 다른 음성 분류 작업에 널리 적용할 수 있도록 한다.
• 코덱 전용 데이터에 의존하거나 모델 수준의 조작이 필요 없이 최신 기술 수준의 성능 향상을 달성한다.

제안 방법

• 원시 파형에 선형 및 비선형 컨볼루션 노이즈를 적용하여 전화 코덱과 전송 경로로 인한 주파수 응답 왜곡을 시뮬레이션한다.
• 클리핑이나 증폭 포화와 같은 비선형 왜곡을 모델링하기 위해 인파르스 신호에 의존하는 추가 노이즈를 도입한다.
• 배경 환경 노이즈를 시뮬레이션하기 위해 정적 신호에 독립적인 추가 노이즈를 추가한다. 다만, 소음 없는 LA 시나리오에서는 성능 향상이 미미하다.
• 이 세 가지 노이즈 유형을 별도로 조합하여 원시 파형에서 직접 증강된 훈련 샘플을 생성한다.
• 노이즈 기록이나 인파르스 응답과 같은 추가 데이터 소스가 필요 없이 기존 훈련 음성 문장만을 사용한다.
• 모델 아키텍처나 손실 함수를 수정하지 않고도 훈련 중에 증강 파이프라인을 적용함으로써 모델 무관성 운영을 보장한다.

Fig. 1 : Proposed RawBoost data augmentation framework including: (1) linear and non-linear convolutive noise; (2) impulsive signal-dependent additive noise; (3) stationary signal-independent additive noise. In (1), the profile in each rectangular box shows the frequency response for first harmonic

실험 결과

연구 질문

• RQ1 외부 데이터 소스를 사용하지 않고도 원시 파형 수준의 데이터 증강 기법이 통화 환경에서의 위협 탐지 성능 향상에 기여할 수 있는가?
• RQ2 RawBoost는 알려지지 않은 인코딩 및 전송 왜곡의 영향을 위협 탐지 시스템에서 줄이는 데 얼마나 효과적인가?
• RQ3 외부 데이터나 모델 수준의 수정에 의존하는 최신 기술 수준의 시스템과 비교해 RawBoost가 성능에서 뒤지지 않고도 우월하거나 유사한 성능을 내는가?
• RQ4 각 노이즈 구성 요소(선형/비선형 컨볼루션, 인파르스, 정적)가 전체 성능 향상에 기여하는 상대적 기여도는 얼마인가?
• RQ5 RawBoost는 주파수 도메인 증강 기법과 호환되지 않는 엔드 투 엔드 원시 파형 모델에 효과적으로 적용될 수 있는가?

주요 결과

• RawBoost는 원시 엔드 투 엔드 기반 시스템의 min t-DCF를 27% 상대적으로 향상시켜 0.4257에서 0.3099로 감소시켰다.
• 최고의 성능을 보인 구성은 선형/비선형 컨볼루션 노이즈와 인파르스 신호에 의존하는 추가 노이즈를 조합한 것으로(RawBoost (1)+(2)), 통합된 min t-DCF는 0.3099, EER은 5.31%를 기록했다.
• 기타 기법과 조합했을 때 정적 신호에 독립적인 노이즈의 추가는 성능 향상이 없었으며, 이는 ASVspoof 2021 LA 데이터셋에서 배경 노이즈가 존재하지 않기 때문일 것이다.
• RawBoost는 모든 일곱 가지 평가 조건(C1–C7)에서 기반 시스템을 초월하여 일관된 내성적 저항성을 보였다. 이는 알려지지 않은 인코딩 및 전송 효과에 대한 강건성을 입증한다.
• 최고 성능을 보이는 단일 시스템 중에서, RawBoost로 강화된 RawNet2는 min t-DCF 0.3099로 3위를 기록했으며, 외부 데이터나 모델 수정 없이 원시 파형만을 사용한 유일한 시스템이었다.
• RawBoost는 외부 데이터(MUSAN 등)나 모델 수준의 조작(손실 함수 변경 등)을 사용하는 시스템과 경쟁 가능한 성능을 달성했으며, 더 단순하고 일반화 능력이 뛰어나다.

Fig. 2 : Magnitude response of a multi-band filter with $N_{\textrm{notch}}=3$ notch filters centered at normalised frequencies of 0.01, 0.35 and 0.45, bandwidths 0.06, 0.03 and 0.02 and number of filter coefficients 30, 94 and 52.