[논문 리뷰] Sound Event Detection Transformer: An Event-based End-to-End Model for Sound Event Detection

Zhirong Ye, Xiangdong Wang외 5명|arXiv (Cornell University)|2021. 10. 05.

Music and Audio Processing참고 문헌 45인용 수 13

한 줄 요약

이 논문은 일련의 음향 이벤트 경계와 레이블을 직접 예측하는 엔드 투 엔드, 이벤트 기반 모델인 사운드 이벤트 검출 트랜스포머(Sound Event Detection Transformer, SEDT)를 제안한다. 이는 1차원 검출 트랜스포머(1D-DETR)를 기반으로 하며, 음성 쿼리 브랜치와 일대다 매칭 전략을 활용한다. SEDT는 후처리를 제거함으로써 프레임 기반 모델을 능가하며, 국소화와 분류의 공동 최적화를 통해 이벤트 수준의 검출 성능을 향상시켜 URBAN-SED 및 DCASE2019 Task4에서 경쟁적인 성능을 달성한다.

ABSTRACT

Sound event detection (SED) has gained increasing attention with its wide application in surveillance, video indexing, etc. Existing models in SED mainly generate frame-level prediction, converting it into a sequence multi-label classification problem. A critical issue with the frame-based model is that it pursues the best frame-level prediction rather than the best event-level prediction. Besides, it needs post-processing and cannot be trained in an end-to-end way. This paper firstly presents the one-dimensional Detection Transformer (1D-DETR), inspired by Detection Transformer for image object detection. Furthermore, given the characteristics of SED, the audio query branch and a one-to-many matching strategy for fine-tuning the model are added to 1D-DETR to form Sound Event Detection Transformer (SEDT). To our knowledge, SEDT is the first event-based and end-to-end SED model. Experiments are conducted on the URBAN-SED dataset and the DCASE2019 Task4 dataset, and both show that SEDT can achieve competitive performance.

연구 동기 및 목표

• 기존 SED 모델에서의 프레임 수준 예측과 이벤트 수준 검출 간의 일관성 문제를 해결하기 위해.
• 엔드 투 엔드 방식으로 직접 이벤트 수준 출력을 가능하게 하여 후처리가 필요 없도록 하기 위해.
• 프레임 수준 분류를 이벤트 기반 학습으로 대체함으로써 모델 일반화 능력 향상과 하이퍼파rameter 민감도 감소를 위해.
• 합성 데이터를 활용해 강한 애너테이션 없이도 약한 감독 학습을 통해 국소화를 유추할 수 있도록 하기 위해.
• 프레임 수준 감독 없이도 이벤트 국소화와 분류를 공동 최적화할 수 있는 모델을 개발하기 위해.

제안 방법

• 영상에서의 객체 검출 기반으로 개선된 1차원 검출 트랜스포머(1D-DETR)를 음성 신호에 적용한다.
• 이벤트 쿼리에 카테고리 특화된 사전 지식을 통합하기 위해 음성 쿼리 브랜치를 도입한다.
• 학습 중 일대다 매칭 전략을 적용하여 하나의 참조 이벤트에 여러 예측이 매칭되도록 하여 재현율을 향상시킨다.
• 이벤트 검출을 안내하기 위해 음향 이벤트 임베딩으로 초기화된 학습 가능한 쿼리 임베딩을 사용한다.
• IoU 임계값(ε)과 신뢰도 임계값(α) 기반의 동적 매칭을 활용한 피니팅 단계를 적용하여 예측을 정밀하게 보정한다.
• 후처리 추론 시 정밀도와 재현율을 균형 있게 유지하기 위해 이벤트 수준 분류 융합 전략(예: P1, P2)을 통합한다.

실험 결과

연구 질문

• RQ1 엔드 투 엔드, 이벤트 기반 검출 프레임워크가 사운드 이벤트 검출에서 프레임 기반 모델을 능가할 수 있는가?
• RQ2 프레임 수준 감독 없이도 이벤트 수준 국소화와 분류를 공동 최적화할 수 있는가?
• RQ3 일대다 매칭과 쿼리 기반 초기화가 모델의 재현율과 정밀도에 미치는 영향은 무엇인가?
• RQ4 합성 데이터를 통해 강한 애너테이션 없이도 약한 감독 학습을 통해 국소화를 유추할 수 있는가?
• RQ5 하이퍼파rameter ε와 α가 최종 예측의 정밀도와 재현율 간의 트레이드오프에 미치는 영향은 무엇인가?

주요 결과

• 일대다 매칭을 통한 피니팅 이후 SEDT는 기준 모델 대비 2.27% 높은 이벤트 기반 매크로 F1과 0.89% 높은 세그먼트 기반 매크로 F1을 달성한다.
• 일대다 매칭 전략은 '공백' 클래스로 분류되는 예측 수를 줄여 재현율을 향상시키고 빠짐없이 탐지하는 데 기여한다.
• 시각화 결과는 피니팅된 예측이 진짜 이벤트에 더 집중되어 있으며, 국소화 경계가 더 정확하고 거짓 음성 감지 수가 줄어들었다는 것을 보여준다.
• 정밀도를 중시하는 전략 1을 사용한 모델가 가장 우수한 성능을 보였으며, 이는 재현율 중심 전략과의 조합에서 상호 보완적 이점을 제공한다는 것을 시사한다.
• 하이퍼파ram터 튜닝 결과, ε는 상당한 영향을 미치지만 α는 중간 정도의 영향을 미친다; 최적 설정은 ε > 0 이고 α < 2 이다.
• SEDT는 URBAN-SED 및 DCASE2019 Task4 데이터셋 모두에서 경쟁적인 성능을 보이며, 실제 사운드 이벤트 검출 환경에서의 효과성을 입증한다.