[논문 리뷰] Snore-GANs: Improving Automatic Snore Sound Classification with Synthesized Data

Zixing Zhang, Jing Han외 4명|arXiv (Cornell University)|2019. 03. 29.

Music and Audio Processing참고 문헌 51인용 수 4

한 줄 요약

이 논문은 자동 코골이 음성 분류(ASSC)에서 데이터 증강을 위한 준감독형 조건부 생성 적대적 네트워크인 Snore-GANs를 제안한다. 클래스에 특화된 특성을 유지하는 합성 코골이 음성을 생성함으로써, 분류 성능을 크게 향상시켰으며, 테스트 세트에서 56.7%의 무게 없는 평균 재현율(UAR)을 달성하여 최신 엔드 투 엔드 모델을 능가하고 기존의 증강 기법인 SMOTE보다도 뛰어나다.

ABSTRACT

One of the frontier issues that severely hamper the development of automatic snore sound classification (ASSC) associates to the lack of sufficient supervised training data. To cope with this problem, we propose a novel data augmentation approach based on semi-supervised conditional Generative Adversarial Networks (scGANs), which aims to automatically learn a mapping strategy from a random noise space to original data distribution. The proposed approach has the capability of well synthesizing 'realistic' high-dimensional data, while requiring no additional annotation process. To handle the mode collapse problem of GANs, we further introduce an ensemble strategy to enhance the diversity of the generated data. The systematic experiments conducted on a widely used Munich-Passau snore sound corpus demonstrate that the scGANs-based systems can remarkably outperform other classic data augmentation systems, and are also competitive to other recently reported systems for ASSC.

연구 동기 및 목표

• 딥 러닝 모델의 성능을 제한하는 자동 코골이 음성 분류(ASSC)에서의 데이터 부족 문제를 해결하기 위해.
• 인간의 주석 없이도 고품질의 클래스에 특화된 코골이 음성 샘플을 생성할 수 있는 데이터 증강 기법을 개발하기 위해.
• 다양하고 현실적인 코골이 오디오 데이터를 합성함으로써 ASSC 시스템의 강인성과 일반화 능력을 향상시키기 위해.
• 준감독형 조건부 GANs(scGANs)가 하류 분류 성능을 향상시키는 데에 효과적인 데이터 생성 능력을 갖추고 있는지 평가하기 위해.
• Munich-Passau 코골이 음성 코퍼스에서 제안된 방법을 기존의 전통적 데이터 증강 기법과 최신 ASSC 시스템과 비교하기 위해.

제안 방법

• 방법은 클래스 레이블에 조건부로 작동하는 준감독형 조건부 GANs(scGANs)를 활용하여 합성 코골이 음성 샘플을 생성한다.
• 생성자 네트워크는 훈련 세트 내 실제 코골이 음성의 통계적 분포와 일치하는 오디오 샘플을 학습하여 생성한다.
• 판별자는 실재 데이터와 생성된 샘플을 모두 활용하여 준감독 방식으로 훈련되어 일반화 능력을 향상시키고 모드 붕괴를 줄인다.
• 모드 붕괴를 완화하고 데이터의 다양성과 품질을 향상시키기 위해 scGAN의 앙상블을 사용한다.
• 생성된 데이터는 실제 데이터와 결합되어 SVM 및 GRU-RNN과 같은 하류 분류기의 훈련에 사용된다.
• 다양한 특징 유형—기능적 특징, 오디오 워드의 집합(BoAW), 저수준 기술적 특징(LLDs)—을 사용하여 접근법을 평가한다.

실험 결과

연구 질문

• RQ1 준감독형 조건부 GANs가 분류 성능 향상에 기여하는 현실적인 코골이 음성 샘플을 효과적으로 생성할 수 있는가?
• RQ2 scGAN 기반의 데이터 증강은 ASSC에서 기존의 증강 기법인 SMOTE와 비교해 어떻게 다를까?
• RQ3 scGAN의 앙상블은 모드 붕괴를 완화하고 생성된 코골이 음성의 다양성과 품질을 향상시키는가?
• RQ4 제안된 데이터 증강 방법은 MPSSC 데이터베이스에서 최신 ASSC 시스템을 얼마나 뛰어넘는가?
• RQ5 생성된 데이터는 다양한 코골이 음성 클래스 간의 일반화 능력을 향상시키는 데에 클래스에 특화된 정보를 제공하는가?

주요 결과

• 앙상블 scGAN을 사용한 제안된 snore-GANs는 테스트 세트에서 무게 없는 평균 재현율(UAR)이 56.7%로, 엔드 투 엔드 시스템[57]이 달성한 40.3% UAR보다 뚜렷이 뛰어나다.
• scGAN 기반 접근법은 기능적 특징, BoAW, LLD 모두에서 성능 향상을 보였으며, 이는 강건성과 일반화 능력이 뛰어남을 시사한다.
• 기존의 데이터 증강 기법인 SMOTE보다도 성능이 뛰어나며, 훈련 세트에서 이미 사전에 업샘플링이 이루어져 있어 성능 향상이 미미한 데 기인한 것으로 보인다.
• scGAN의 앙상블은 모드 붕괴를 효과적으로 완화하여 단일 GAN보다 품질이 높고 다양한 합성 데이터를 생성했다.
• 가장 뛰어난 성능을 보인 설정은 LLD를 사용한 GRU-RNN과 scGAN 기반 데이터 증강을 조합하여 테스트 UAR 54.4%를 기록했으며, 표준편차 ±3.8%로 높은 일관성을 보였다.
• 결과는 scGAN을 통한 데이터 증강이 의미 있는 클래스에 특화된 정보를 제공하며, 특히 데이터가 적은 환경에서 모델 성능 향상에 기여함을 확인한다.