[논문 리뷰] LEAF: A Learnable Frontend for Audio Classification

Neil Zeghidour, Olivier Teboul외 2명|arXiv (Cornell University)|2021. 01. 21.

Music and Audio Processing참고 문헌 50인용 수 30

한 줄 요약

LEAF는 멜 필터뱅크를 대체하는 완전히 학습 가능한 오디오 프런트엔드를 도입하고, 다양한 작업에서 일관되게 이를 능가하며 매개변수 수가 훨씬 적다.

ABSTRACT

Mel-filterbanks are fixed, engineered audio features which emulate human perception and have been used through the history of audio understanding up to today. However, their undeniable qualities are counterbalanced by the fundamental limitations of handmade representations. In this work we show that we can train a single learnable frontend that outperforms mel-filterbanks on a wide range of audio signals, including speech, music, audio events and animal sounds, providing a general-purpose learned frontend for audio classification. To do so, we introduce a new principled, lightweight, fully learnable architecture that can be used as a drop-in replacement of mel-filterbanks. Our system learns all operations of audio features extraction, from filtering to pooling, compression and normalization, and can be integrated into any neural network at a negligible parameter cost. We perform multi-task training on eight diverse audio classification tasks, and show consistent improvements of our model over mel-filterbanks and previous learnable alternatives. Moreover, our system outperforms the current state-of-the-art learnable frontend on Audioset, with orders of magnitude fewer parameters.

연구 동기 및 목표

• 일반 목적의 오디오 분류를 위해 수작업으로 만들어진 mel-filterbanks를 학습 가능한 프런트엔드로 대체하도록 동기를 부여한다.
• 필터링, 풀링, 압축을 학습하는 경량의 엔드-투-엔드 학습 가능한 프런트엔드를 제안한다.
• 단일 LEAF 프런트엔드가 다수 작업에서 mel-filterbanks 및 선행 학습 가능한 프런트엔드보다 우수하다는 것을 보여준다.
• 대규모 Audioset 및 다중 작업 설정으로의 확장성을 입증한다.

제안 방법

• 프런트엔드를 학습 가능한 세 가지 구성요소로 분해한다: filtering, pooling, and compression/normalization.
• 학습 가능한 필터링을 위해 실수-허수 쌍 또는 Gabor 매개변수화로 표현된 복소수 1-D filterbank를 사용한다.
• 깊이별 합성곱으로 구현된 채널별 가우시안 로우패스 풀링을 적용한다.
• 채널별 압축 및 정규화를 위한 학습 가능한 Per-Channel Energy Normalization 변형(sPCEN)을 채택한다.
• 여덟 개의 데이터셋에서 공유 백본 인코더로 엔드-투-엔드 훈련을 수행하고 단일 작업, 다중 작업, Audioset 설정에서 평가한다.

실험 결과

연구 질문

• RQ1 단일의 완전히 학습 가능한 프런트엔드가 광범위한 오디오 분류 작업에서 고정된 mel-filterbanks를 능가할 수 있는가?
• RQ2 필터링, 풀링, 압축을 함께 학습하는 것이 다중 작업 및 대규모 설정에서 성능을 향상시키는가?
• RQ3 LEAF가 이전의 학습 가능한 프런트엔드(Time-Domain filterbanks, SincNet 등)와 다양한 데이터셋 및 지표에서 어떻게 비교되는가?
• RQ4 채널별 압축(sPCEN)이 성능과 강인성에 미치는 영향은 무엇인가?

주요 결과

• LEAF는 평균적으로 eight 개의 단일 작업 데이터셋에서 mel-filterbanks 및 선행 학습 가능한 프런트엔드보다 우수하다.
• 다중 작업 설정에서 LEAF는 매개변수를 공유하면서도 작업 전반에 걸쳐 최상의 전체 성능을 제공하고 모든 작업에서 기준선과 일치하거나 상회한다.
• Audioset에서 EfficientNetB0를 사용하는 LEAF는 mel-filterbanks보다 더 높은 d-prime를 달성하고 Wavegram 및 SincNet 변형과 비교하거나 더 나은 성능을 보이며 훨씬 적은 매개변수로 (예: LEAF 448 params vs 수십만).
• PCEN-based compression (특히 sPCEN)이 mel- 및 LEAF 기반 프런트엔드 모두에서 로그-압축에 비해 성능을 크게 향상시킨다.
• LEAF는 노이즈에 대한 강건성을 보여주며 저하된 SNR 조건에서 mel-filterbanks를 능가한다.