[논문 리뷰] SeCoST: Sequential Co-Supervision for Weakly Labeled Audio Event Detection

Anurag Kumar, Vamsi Krishna Ithapu|arXiv (Cornell University)|2019. 10. 25.

Music and Audio Processing참고 문헌 19인용 수 7

한 줄 요약

SeCoST는 순차적 공감독 프레임워크를 제안하여 계단식 학생-교수 쌍 간의 지식 정련을 활용해 약한 감독을 받는 음성 이벤트 검출 성능을 향상시킨다. AudioSet의 약한 레이블 데이터를 반복적으로 정련함으로써 SeCoST는 평균 평균 정밀도(mAP) 0.383을 달성하여 이전 최고 성능 방법들을 크게 능가한다.

ABSTRACT

Weakly supervised learning algorithms are critical for scaling audio event detection to several hundreds of sound categories. Such learning models should not only disambiguate sound events efficiently with minimal class-specific annotation but also be robust to label noise, which is more apparent with weak labels instead of strong annotations. In this work, we propose a new framework for designing learning models with weak supervision by bridging ideas from sequential learning and knowledge distillation. We refer to the proposed methodology as SeCoST (pronounced Sequest) --- Sequential Co-supervision for training generations of Students. SeCoST incrementally builds a cascade of student-teacher pairs via a novel knowledge transfer method. Our evaluations on Audioset (the largest weakly labeled dataset available) show that SeCoST achieves a mean average precision of 0.383 while outperforming prior state of the art by a considerable margin.

연구 동기 및 목표

• 최소한의 인간 레이블 데이터로 수백 개의 음향 카테고리로 확장 가능한 음성 이벤트 검출 문제를 해결한다.
• 강한 감독 대비 약한 레이블 데이터셋에 내재된 레이블 노이즈에 대한 강건성을 향상시킨다.
• 계단식 학생-교수 지식 전이를 통해 점진적으로 성능을 향상시키는 학습 프레임워크를 설계한다.
• 단지 약한, 약한 레이블이 부여된 지시만을 사용하여 겹치거나 모호한 음성 이벤트를 효과적으로 해석할 수 있도록 한다.
• 오직 약한 레이블만을 사용하여 대규모 AudioSet 데이터셋에서 최고 성능을 달성한다.

제안 방법

• 지속적으로 개선된 교수 모델로부터 정련된 지식을 사용해 계단식으로 연결된 학생 모델을 훈련하는 순차적 공감독 메커니즘을 도입한다.
• 학습 중에 학생 및 교수 네트워크 간 예측을 정렬하는 새로운 지식 전이 방법을 적용하여 약한 감독 하에서 일반화 성능을 향상시킨다.
• 음성 시퀀스의 시간적 구조를 활용해 공감독를 안내함으로써 음성 이벤트의 시간적 국소화 성능을 향상시킨다.
• 클립 수준의 레이블만 제공되는 AudioSet의 약한 레이블 데이터를 사용해 모델을 종단 간(end-to-end)으로 훈련시킨다.
• 이전 교수 모델의 예측 결과를 소프트 감독 신호로 사용해 학생 모델을 반복적으로 정련한다.
• 신뢰도 기반 필터링과 일관성 정규화를 사용해 훈련 중 노이즈가 있는 약한 레이블의 영향을 줄인다.

실험 결과

연구 질문

• RQ1 기존의 약한 감독 기반 기준 대비 순차적 공감독과 지식 정련을 통한 성능 향상이 약한 감독을 받는 음성 이벤트 검출에서 가능할 수 있는가?
• RQ2 계단식 학생-교수 훈련 과정은 약한 레이블 데이터셋의 레이블 노이즈에 대한 모델의 강건성에 어떤 영향을 미치는가?
• RQ3 여러 세대의 교수 모델로부터의 지식 정련은 시간적 국소화 정확도 향상에 어느 정도 기여하는가?
• RQ4 제안된 방법은 AudioSet과 같은 대규모 약한 레이블 데이터셋에서 다양한 음향 카테고리로 효과적으로 일반화되는가?
• RQ5 동일한 약한 감독 신호를 사용할 때 순차적 정련 과정이 단일 단계 훈련을 능가하는가?

주요 결과

• SeCoST는 AudioSet 데이터셋에서 평균 평균 정밀도(mAP) 0.383을 달성하여 약한 감독을 받는 음성 이벤트 검출 분야에서 새로운 최고 성능을 기록한다.
• 이전 최고 성능 방법들보다 뚜렷이 뛰어나며, 약한 감독을 다루는 데 있어 순차적 공감독의 효과성을 입증한다.
• 계단식 학생-교수 훈련 과정은 특히 겹치거나 모호한 음성 이벤트의 경우 레이블 노이즈에 대한 강건성을 향상시킨다.
• 다수의 세대에 걸친 모델 간 지식 정련은 단일 단계 훈련 대비 더 나은 일반화 및 향상된 국소화 정확도를 이끌어낸다.
• 제안된 프레임워크는 강한 애너테이션 없이도 약한 레이블 데이터를 효과적으로 활용해 수백 개의 카테고리에 걸쳐 확장 가능한 음성 이벤트 검출을 가능하게 한다.
• 순차적 정련 메커니즘은 점진적인 성능 향상을 가능하게 하며, 후속 학생 모델이 모두 이전 모델보다 mAP 및 국소화 일관성 측면에서 뛰어나다.