[논문 리뷰] A Comparison of Five Multiple Instance Learning Pooling Functions for Sound Event Detection with Weak Labeling

Yun Wang, Juncheng Li외 1명|arXiv (Cornell University)|2018. 10. 22.

Music and Audio Processing인용 수 10

한 줄 요약

이 논문은 약한 감독 하에 음향 이벤트 검출(Sound Event Detection, SED)을 위한 다중 예제 학습(Multiple Instance Learning, MIL) 풀링 함수 다섯 가지를 비교하며, 선형 소프트맥스 풀링이 최대 풀링, 평균 풀링, 지수 소프트맥스 풀링, 주의 기반 풀링보다 국소화 정확도에서 뛰어남을 발견한다. 이 함수를 사용하여 저자들은 TALNet을 제안하며, 미세조정 없이 AudioSet에서 최고 수준의 음향 태깅 성능과 DCASE 2017에서 강력한 국소화 성능을 동시에 달성한 최초의 모델이 되었다.

ABSTRACT

Sound event detection (SED) entails two subtasks: recognizing what types of sound events are present in an audio stream (audio tagging), and pinpointing their onset and offset times (localization). In the popular multiple instance learning (MIL) framework for SED with weak labeling, an important component is the pooling function. This paper compares five types of pooling functions both theoretically and experimentally, with special focus on their performance of localization. Although the attention pooling function is currently receiving the most attention, we find the linear softmax pooling function to perform the best among the five. Using this pooling function, we build a neural network called TALNet. It is the first system to reach state-of-the-art audio tagging performance on Audio Set, while exhibiting strong localization performance on the DCASE 2017 challenge at the same time.

연구 동기 및 목표

• 약한 레이블링 조건에서, 즉 클립 수준의 레이블만 제공되는 상황에서 음향 이벤트 검출을 위한 다섯 가지 MIL 풀링 함수의 평가 및 비교.
• 국소화 정확도와 프레임 수준 예측 일致성 사이의 최적 균형을 이루는 풀링 함수 식별.
• 음향 태깅 및 음향 이벤트 국소화 작업 모두에서 우수한 성능을 내는 통합 딥 러닝 모델 개발.
• 선형 소프트맥스 풀링 함수가 주의 기반 방법에 비해 더 나은 기울기 흐름과 낮은 거짓 긍정률을 제공하는지 확인.

제안 방법

• 저자들은 최대 풀링, 평균 풀링, 선형 소프트맥스 풀링, 지수 소프트맥스 풀링, 주의 기반 풀링의 다섯 가지 풀링 함수를 구현하였으며, 각각은 프레임 수준 예측을 레코딩 수준 확률로 변환한다.
• 각 풀링 함수는 약한 레이블이 있는 오디오 데이터에 대해 엔드 투 엔드 학습이 가능한 CRNN 기반 신경망 아키텍처에 통합된다.
• 선형 소프트맥스 풀링 함수는 선형적으로 스케일링된 로짓을 사용해 프레임 확률의 가중 평균을 계산하며, 부드러운 기울기 흐름을 보장한다.
• 모델은 AudioSet과 DCASE 2017의 약한 레이블과 예측된 레코딩 수준 확률 간의 교차 엔트로피 손실을 사용해 훈련된다.
• 하이퍼파라미터와 클래스별 임계값은 검증을 통해 튜닝되며, 클래스 불균형 문제를 다루기 위해 데이터 균형 기법이 적용된다.
• 최종 모델인 TALNet은 선형 소프트맥스 풀링 함수를 사용하며, AudioSet(태깅용)과 DCASE 2017(국소화용)에서 평가된다.

실험 결과

연구 질문

• RQ1 약한 감독 하에 음향 이벤트 검출에서 어떤 MIL 풀링 함수가 가장 뛰어난 국소화 성능을 내는가?
• RQ2 다양한 풀링 함수는 프레임 수준 예측과 레코딩 수준 예측 간의 일치성에 어떤 영향을 미치는가?
• RQ3 단일 모델이 음향 태깅 및 국소화 작업 모두에서 최고 수준의 성능을 달성할 수 있는가?
• RQ4 주목받는 주의 기반 풀링 함수는 왜 국소화에서 높은 거짓 긍정률을 초래하는가?
• RQ5 선형 소프트맥스 풀링 함수는 다른 풀링 함수에 비해 더 나은 기울기 흐름과 훈련 안정성을 제공하는가?

주요 결과

• 선형 소프트맥스 풀링 함수는 DCASE 2017 챌린지에서 국소화 F1 스코어 45.4를 기록하여 최대 풀링(42.2)과 주의 기반 풀링(45.5)을 모두 앞서며, 거짓 긍정률(78.9)도 주의 기반 풀링(92.0)보다 낮게 나타났다.
• TALNet은 AudioSet에서 평균 정밀도(MAP) 0.359를 달성하였으며, Yu 등 [23]의 최고 수준 성능 0.360과 매우 유사했고, 비교된 모든 다른 시스템보다 뛰어난 성능을 보였다.
• 주목받는 주의 기반 풀링 함수는 높은 오류율(92.0)과 과도한 거짓 긍정률을 보이며, 프레임 수준 국소화 성능이 열악함을 시사한다.
• 선형 소프트맥스 풀링 함수는 다른 풀링 함수에 비해 더 나은 기울기 흐름과 거짓 음성 및 거짓 양성 간의 더 좋은 균형을 보였다.
• TALNet는 미세조정 없이도 AudioSet에서 음향 태깅과 DCASE 2017에서 국소화 작업 모두에서 뛰어난 성능을 달성한 것으로 알려진 최초의 모델이다.
• 이론적 분석을 통해 선형 소프트맥스 풀링 함수는 최대 풀링과 달리 기울기 흐름이 차단되지 않음을 확인하였다.