[논문 리뷰] Fast Threshold Optimization For Multi-Label Audio Tagging Using Surrogate Gradient Learning

Thomas Pellegrini, Timothée Masquelier|arXiv (Cornell University)|2021. 03. 01.

Music and Audio Processing참고 문헌 11인용 수 1

한 줄 요약

이 논문은 F1 점수를 최대화하기 위해 다중 레이블 오디오 태깅에서 결정 임계값을 최적화하기 위한 빠르고 확장 가능한 방법인 SGL-Thresh를 제안한다. 비차별 가능한 임계값 설정을 시그모이드 기반 기울기 근사를 통해 근사함으로써, 기본 임계값 대비 50.7%에서 54.9%로 향상된 AudioSet 평가에서의 마이크로-F1 점수를 달성한다.

ABSTRACT

Multi-label audio tagging consists of assigning sets of tags to audio recordings. At inference time, thresholds are applied on the confidence scores outputted by a probabilistic classifier, in order to decide which classes are detected active. In this work, we consider having at disposal a trained classifier and we seek to automatically optimize the decision thresholds according to a performance metric of interest, in our case F-measure (micro-F1). We propose a new method, called SGL-Thresh for Surrogate Gradient Learning of Thresholds, that makes use of gradient descent. Since F1 is not differentiable, we propose to approximate the thresholding operation gradients with the gradients of a sigmoid function. We report experiments on three datasets, using state-of-the-art pre-trained deep neural networks. In all cases, SGL-Thresh outperformed three other approaches: a default threshold value (defThresh), an heuristic search algorithm and a method estimating F1 gradients numerically. It reached 54.9\% F1 on AudioSet eval, compared to 50.7% with defThresh. SGL-Thresh is very fast and scalable to a large number of tags. To facilitate reproducibility, data and source code in Pytorch are available online: https://github.com/topel/SGL-Thresh

연구 동기 및 목표

• 다중 레이블 오디오 태깅에서 F1 점수 향상을 위해 자동으로 결정 임계값을 최적화하는 것.
• 임계값 최적화 과정에서 F1 지표의 비차별성 문제를 해결하는 것.
• 많은 태그를 포함한 대규모 오디오 태깅에 적합한 확장성 있고 효율적인 방법을 개발하는 것.
• 히우리스틱 및 수치 기울기 추정 방법을 포함한 기존의 임계값 최적화 접근법을 뛰어넘는 것.
• 오픈소스된 PyTorch 코드와 데이터셋을 통해 재현 가능성을 보장하는 것.

제안 방법

• 비차별 가능한 임계값 설정의 기울기를 추정하기 위해 가역적인 시그모이드 근사를 사용한다.
• 시그모이드 근사된 임계값 설정 함수를 통해 역전파하면서 기울기 하강법을 적용해 임계값을 최적화한다.
• 가역적인 추론 파이프라인 내에서 임계값 최적화를 학습 가능한 파라미터 업데이트로 간주한다.
• F1 점수를 기반으로 한 서면 손실을 사용하며, 임계값 설정 단계의 시그모이드 근사를 통해 기울기를 계산한다.
• 사전 훈련된 딥 네URAL 네트워크와 원활하게 통합되어 임계값의 엔드 투 엔드 미세조정이 가능하다.
• 가역적이고 기울기 기반 최적화 방식 덕분에 많은 태그가 있는 경우에도 효율적으로 확장 가능하다.

실험 결과

연구 질문

• RQ1 F1 지표의 비차별성에도 불구하고, 서면 기울기 학습이 다중 레이블 오디오 태깅에서 결정 임계값을 효과적으로 최적화할 수 있는가?
• RQ2 SGL-Thresh는 기본 임계값 설정, 히우리스틱 탐색, 수치 기울기 추정 방법과 비교해 F1 성능에서 어떻게 다른가?
• RQ3 큰 수의 태그를 가진 오디오 태깅에 적용했을 때, 제안된 방법의 확장성과 효율성은 어느 정도인가?
• RQ4 시그모이드 기반 기울기 근사를 사용함으로써 표준 임계값 설정 전략 대비 일관되고 측정 가능한 F1 향상이 이루어지는가?
• RQ5 SOTA(최신 기술) 사전 훈련된 모델과 함께 실제 데이터셋인 AudioSet에 효과적으로 적용될 수 있는가?

주요 결과

• SGL-Thresh는 AudioSet 평가 세트에서 54.9%의 마이크로-F1 점수를 기록하여 기본 임계값 방법(50.7%)을 뚜렷이 앞서갔다.
• 모든 세 가지 평가 데이터셋에서 히우리스틱 탐색과 수치 기울기 추정 방법을 일관되게 뛰어넘었다.
• 빠른 수렴과 높은 확장성 덕분에 많은 레이블을 포함한 대규모 오디오 태깅에 적합하다.
• 시그모이드 기반 서면 기울기 추정을 통해 F1의 비차별성 문제를 극복하고 임계값 설정 단계를 효과적으로 역전파할 수 있었다.
• 다양한 오디오 태깅 벤치마크에서 일관되고 일반화된 성능 향상을 보이며 강건하고 일반화 능력이 뛰어나다.
• 오픈소스된 PyTorch 구현을 통해 완전한 재현 가능성이 보장되며, 기존 오디오 태깅 파이프라인에 쉽게 통합할 수 있다.