[논문 리뷰] A Deep Neural Network for Audio Classification with a Classifier Attention Mechanism

Haoye Lu, Haolong Zhang외 1명|arXiv (Cornell University)|2020. 06. 14.

Music and Audio Processing참고 문헌 23인용 수 10

한 줄 요약

이 논문은 전통적인 스펙트로그램 전처리를 대체하기 위해 주목적 메커니즘을 도입한 새로운 딥 뉴럴 네트워크인 분류기-주의 기반 CNN(CAB-CNN)을 제안한다. 이는 경량이며 전문화된 분류기 목록에서 동적으로 선택하는 방식이다. 전체 모델을 엔드 투 엔드로 공동 학습하고 분류기의 복잡성을 줄임으로써 UT-Podcast 코퍼스에서 테스트 정확도 95.99%를 달성하며, 모든 평가 지표에서 최신 기술보다 10% 이상 뛰어나다.

ABSTRACT

Audio classification is considered as a challenging problem in pattern recognition. Recently, many algorithms have been proposed using deep neural networks. In this paper, we introduce a new attention-based neural network architecture called Classifier-Attention-Based Convolutional Neural Network (CAB-CNN). The algorithm uses a newly designed architecture consisting of a list of simple classifiers and an attention mechanism as a classifier selector. This design significantly reduces the number of parameters required by the classifiers and thus their complexities. In this way, it becomes easier to train the classifiers and achieve a high and steady performance. Our claims are corroborated by the experimental results. Compared to the state-of-the-art algorithms, our algorithm achieves more than 10% improvements on all selected test scores.

연구 동기 및 목표

• 스펙트로그램 기반 전처리의 한계를 해결하기 위해, 이는 잡음을 유발하고 공동 최적화를 방해하기 때문이다.
• 가벼운 주목적 기반 선택 메커니즘을 통해 분류기의 복잡성을 줄이고 학습 안정성을 향상시키기 위해.
• 기존 딥 러닝 접근 방식보다 더 견고하고 정확한 음성 분류 모델을 개발하기 위해.
• 고정된 사전 계산된 스펙트로그램이 필요 없게 하여 엔드 투 엔드 학습을 가능하게 하기 위해.

제안 방법

• CAB-CNN 아키텍처는 기존의 스펙트로그램 전처리를 학습 가능한 주목적 메커니즘으로 대체하며, 이는 단순하고 전문화된 분류기 목록에서 선택한다.
• 목록에 있는 각 분류기는 작은 고유한 특징 집합에 집중하도록 설계되어 모델 용량과 학습 복잡성을 감소시킨다.
• 주목적 메커니즘은 입력의 관련성에 따라 분류기에 동적 가중치를 할당하여 가장 신뢰할 만한 예측을 우선시하도록 한다.
• 전체 네트워크를 엔드 투 엔드로 학습함으로써 특징 추출 및 분류 구성 요소의 공동 최적화를 가능하게 한다.
• 완전 연결층을 사용하여 분류기와 주목적 메커니즘을 모두 구현하며, 수작업으로 만든 스펙트로그램에 의존하지 않는다.
• 아키텍처는 벤치마크 작업으로서 악센트 분류를 사용하여 UT-Podcast 코퍼스에서 평가된다.

실험 결과

연구 질문

• RQ1 여러 경량 분류기 중에서 선택하는 주목적 메커니즘이 기존의 딥 네트워크에 비해 음성 분류 성능을 향상시킬 수 있는가?
• RQ2 스펙트로그램 전처리 단계를 제거하면 일반화 성능 향상과 잡음 감소에 기여하는가?
• RQ3 간단하고 전문화된 분류기를 갖춘 모델이 복잡한 단일 네트워크보다 더 높은 정확도와 안정성을 달성할 수 있는가?
• RQ4 주목적 기반 분류기 선택 메커니즘이 여러 실행에 걸쳐 학습 수렴성과 강건성에 어떤 영향을 미치는가?

주요 결과

• CAB-CNN는 UT-Podcast 코퍼스에서 테스트 정확도 95.99%를 달성하여, 모든 평가 지표에서 최신 기술보다 10% 이상 향상되었다.
• VGG11 A, ResNet18, AttentionCNN과 같은 기존 방법들을 초월하며, 8개의 병렬 테스트 평균 정확도 93.70%를 기록했다.
• CAB-CNN는 뛰어난 학습 안정성을 보였으며, 최고 성능와 평균 성능 간의 성능 저하가 최소화되어 있었고, 다른 모델들이 보여주는 큰 변동성과는 대조되었다.
• 주목적 메커니즘이 강건성을 크게 향상시켜, UK와 AU 악센트를 혼동하는 등의 오류를 기존 기준 모델 대비 최대 2/3까지 감소시켰다.
• 긴 입력 음성에서도 성능이 안정적으로 유지되었지만, 매우 긴 시퀀스에서는 약간의 성능 저하가 관찰되어 향후 최적화 여지가 있음을 시사했다.
• 스펙트로그램 전처리가 필요 없어져 엔드 투 엔드 학습이 가능해졌으며, 특징 학습과 분류의 공동 최적화가 가능해졌다.