[논문 리뷰] ACGAN-based Data Augmentation Integrated with Long-term Scalogram for Acoustic Scene Classification

Hangting Chen, Zuozhen Liu외 2명|arXiv (Cornell University)|2020. 05. 27.

Music and Audio Processing참고 문헌 46인용 수 6

한 줄 요약

이 논문은 청각 환경 분류(ASC)를 위한 ACGAN 기반 데이터 증강 프레임워크를 장기 스칼로그램 특징과 통합하여 모델의 일반화 능력과 정확도를 크게 향상시켰다. 웨이블릿 기반의 장기 주파수 표현과 반복적이고 필터 최적화된 GAN에 의해 생성된 샘플을 활용함으로써, 이 방법은 DCASE2019 대회에서 fold-1 테스트 세트에서 85.16%의 정확도로 첫 번째로 랭크되었다.

ABSTRACT

In acoustic scene classification (ASC), acoustic features play a crucial role in the extraction of scene information, which can be stored over different time scales. Moreover, the limited size of the dataset may lead to a biased model with a poor performance for records from unseen cities and confusing scene classes. In order to overcome this, we propose a long-term wavelet feature that requires a lower storage capacity and can be classified faster and more accurately compared with classic Mel filter bank coefficients (FBank). This feature can be extracted with predefined wavelet scales similar to the FBank. Furthermore, a novel data augmentation scheme based on generative adversarial neural networks with auxiliary classifiers (ACGANs) is adopted to improve the generalization of the ASC systems. The scheme, which contains ACGANs and a sample filter, extends the database iteratively by splitting the dataset, training the ACGANs and subsequently filtering samples. Experiments were conducted on datasets from the Detection and Classification of Acoustic Scenes and Events (DCASE) challenges. The results on the DCASE19 dataset demonstrate the improved performance of the proposed techniques compared with the classic FBank classifier. Moreover, the proposed fusion system achieved first place in the DCASE19 competition and surpassed the top accuracies on the DCASE17 dataset.

연구 동기 및 목표

• 작은 크기이자 불균형한 데이터셋으로 인해 새로운 도시나 혼동스러운 환경 클래스에 대해 일반화 능력이 떨어지는 ASC 모델의 문제를 해결하기 위해.
• 단기 FBank 특징보다 다중 척도의 청각적 단서를 더 효과적으로 포착할 수 있는 장기 웨이블릿 기반 특징(스칼로그램)을 개발하기 위해.
• 다양하고 고품질의 합성 음성 샘플을 생성하기 위해 반복적이고 ACGAN 기반의 데이터 증강 기법과 샘플 필터를 설계하기 위해.
• DCT 기반 모듈을 활용한 적대적 훈련과 시간 모델링을 통해 모델의 강건성 향상시키기 위해.
• 특징 융합과 시스템 앙상블을 통해 DCASE 벤치마크 데이터셋에서 최신 기술 수준(SOTA)의 성능을 달성하기 위해.

제안 방법

• 장기 스칼로그램은 STFT 스펙트럼에 사전 정의된 웨이블릿 스케일을 적용하여 추출되며, 기존의 FBank 특징을 대체한다.
• ACGAN 기반의 데이터 증강 기법을 사용하며, 생성자는 클래스 레이블 조건 하에 합성 음성 샘플을 생성한다.
• 도시별로 데이터셋을 분할하여 볼 수 있는 도시에서 학습하고 볼 수 없는 도시에서 평가함으로써 일반화 능력을 향상시킨다.
• 각 ACGAN 훈련 반복 후에 샘플 필터를 적용하여 고품질의 합성 샘플을 선택함으로써 반복적 확장 과정에서 데이터 품질을 확보한다.
• 적대적 훈련과 DCT 기반 시간 모듈을 통합하여 특징 표현을 향상시키고 과적합을 줄인다.
• 다양한 분류기(DCNN, FCNN)를 평균 투표 방식으로 융합하며, 스칼로그램과 FBank 특징 간 최적의 융합 비율(1:2)을 적용한다.

실험 결과

연구 질문

• RQ1 웨이블릿 변환에서 유도된 장기 스칼로그램 특징가 단기 FBank 특징보다 다중 척도의 청각 환경 단서를 더 잘 포착할 수 있는가?
• RQ2 샘플 필터를 갖춘 ACGAN 기반 데이터 증강이 ASC에서 볼 수 없는 도시와 혼동스러운 환경 클래스에 대한 일반화 능력을 향상시키는가?
• RQ3 적대적 훈련과 DCT 기반 시간 모델링의 통합이 모델의 강건성과 성능에 어떤 영향을 미치는가?
• RQ4 ASC 시스템에서 장기 스칼로그램과 단기 FBank 특징 간 최적의 융합 전략은 무엇인가?
• RQ5 제안된 프레임워크는 DCASE 벤치마크 데이터셋에서 최신 기술 수준의 성능을 달성할 수 있는가?

주요 결과

• 제안된 장기 스칼로그램 특징는 FBank보다 더 높은 정확도를 달성하였으며, 특히 리듬적이고 지속적인 환경적 단서를 포착하는 데서 유의미한 성능 향상을 보였다.
• 반복적 필터링을 통한 ACGAN 기반 데이터 증강 기법은 특히 볼 수 없는 도시의 음성 기록에 대해 모델의 일반화 능력을 향상시켰다.
• 스칼로그램과 FBank 특징를 1:2 비율로 융합한 결과 최고의 성능을 기록하였으며, DCASE2019 fold-1 테스트 세트에서 85.16%의 정확도를 달성했다.
• 융합 후 DCASE17의 최고 성능 기법보다 1.3% 높은 84.57%의 정확도를 기록하여 슈퍼리오어 성능을 입증했다.
• 적대적 훈련과 DCT 기반 시간 모듈은 훈련 손실을 감소시켰지만, 과적합을 방지하기 위해 주의 깊은 튜닝이 필요했다.
• 이 방법은 DCASE2019 대회에서 첫 번째로 랭크되어 다양한 청각 환경에서 강력한 일반화 능력과 강건성을 입증했다.