[논문 리뷰] Acoustic scene classification using teacher-student learning with soft-labels

Hee-Soo Heo, Jee-weon Jung외 2명|arXiv (Cornell University)|2019. 04. 23.

Music and Audio Processing참고 문헌 18인용 수 11

한 줄 요약

이 논문은 모호한 장면 클래스 간의 의미적 유사성을 모델링하여 청각 장면 분류(ASC) 성능을 햖थ기 위해 소프트 레이블 디스틸레이션을 통한 교사-학생 학습 프레임워크를 제안한다. 여러 음성 세그먼트에서 훈련된 교사 네트워크의 은닉층 임베딩에서 지식을 디스틸레이션함으로써 학생 네트워크는 더 풍부하고 일반화 능력이 뛰어난 표현을 학습하게 되며, 이는 DCASE 2018 검증 세트에서 77.36%의 정확도를 기록하여 원-핫 레이블 기반 모델을 크게 앞서는 성과를 보였다.

ABSTRACT

Acoustic scene classification identifies an input segment into one of the pre-defined classes using spectral information. The spectral information of acoustic scenes may not be mutually exclusive due to common acoustic properties across different classes, such as babble noises included in both airports and shopping malls. However, conventional training procedure based on one-hot labels does not consider the similarities between different acoustic scenes. We exploit teacher-student learning with the purpose to derive soft-labels that consider common acoustic properties among different acoustic scenes. In teacher-student learning, the teacher network produces soft-labels, based on which the student network is trained. We investigate various methods to extract soft-labels that better represent similarities across different scenes. Such attempts include extracting soft-labels from multiple audio segments that are defined as an identical acoustic scene. Experimental results demonstrate the potential of our approach, showing a classification accuracy of 77.36 % on the DCASE 2018 task 1 validation set.

연구 동기 및 목표

• 공항과 쇼핑몰과 같이 모호한 장면 클래스 간의 공통된 청각적 특성을 한정된 원-핫 레이블이 포착하지 못하는 문제를 해결하기 위해.
• 교사-학생 학습을 통해 청각 장면 간 의미적 유사성을 반영한 소프트 레이블을 생성하는 방법을 탐색하기 위해.
• 교사 네트워크를 더 긴 입력 세그먼트에서 훈련하여 지식 디스틸레이션을 활용해 ASC 성능을 향상시키기 위해.
• 특히 마지막 은닉층에서가 아니라 출력층에서 지식 디스틸레이션을 수행할 경우의 효과를 평가하기 위해.

제안 방법

• 교사 네트워크는 더 일반화된 소프트 레이블을 생성하기 위해 10~20초의 확장된 음성 세그먼트에서 훈련된다.
• 소프트 레이블은 온도 조절된 소프트맥스 함수를 사용하여 생성되며, 높은 온도 값은 더 매끄럽고 정보량이 많은 분포를 생성한다.
• 지식 디스틸레이션은 학생 네트워크가 교사의 출력 확률을 최소한도로 만족시키도록 훈련함으로써 적용되며, KL 발산을 최소화하는 디스틸레이션 손실을 사용한다.
• 이 방법은 출력층과 마지막 은닉층 양쪽에서 디스틸레이션을 수행하며, 후자는 더 풍부한 의미적 표현 덕분에 성능 향상을 보였다.
• 학생 네트워크는 진짜 레이블에 대한 크로스 엔트로피 손실과 교사로부터의 지식 디스틸레이션 손실을 조합하여 피니어 튜닝된다.
• 원시 웨이브폼과 스펙트로그램 기반 모델의 앙상블을 사용하며, 각 프론트엔드에 대해 별도로 지식 디스틸레이션을 적용한다.

실험 결과

연구 질문

• RQ1 교사 네트워크에서 소프트 레이블 디스틸레이션을 통해 모호한 장면 클래스 간의 공통된 청각적 특성을 모델링함으로써 청각 장면 분류 정확도를 향상시킬 수 있는가?
• RQ2 교사 네트워크에 더 긴 입력 세그먼트를 사용하면 소프트 레이블의 품질이 향상되고 일반화 능력이 향상되는가?
• RQ3 출력층이 아닌 마지막 은닉층에서 지식 디스틸레이션을 수행하는 것이 ASC에서의 클래스 간 유사성을 더 효과적으로 포착하는가?
• RQ4 소프트 레이블 생성 과정에서의 온도 하이퍼파라미터는 모델 성능에 어떤 영향을 미치는가?
• RQ5 다중 세그먼트 훈련과 은닉층 디스틸레이션을 조합한 다수의 디스틸레이션 기법이 상호보완적인 성능 향상을 이끌어내는가?

주요 결과

• 제안된 교사-학생 학습 프레임워크는 DCASE 2018 태스크 1 검증 세트에서 77.36%의 분류 정확도를 달성하여 기준 앙상블 정확도 74.42%를 뛰어넘었다.
• 교사 네트워크의 마지막 은닉층에서 지식 디스틸레이션을 수행한 결과 74.26%의 정확도를 기록하여 출력층 디스틸레이션(73.23%)보다 略적으로 뛰어났으며, 이는 더 풍부한 의미적 표현 덕분이었다.
• 교사 네트워크에 20초의 더 긴 입력 세그먼트를 사용함으로써 T=5일 때 성능이 73.23%로 향상되었고, 10초 입력 세그먼트를 사용한 경우는 71.43%였다.
• 다중 세그먼트 훈련과 은닉층 디스틸레이션의 조합은 공항과 쇼핑몰과 같이 매우 유사한 장면 간의 혼동을 줄였다.
• 아블레이션 연구는 마지막 은닉층에서의 디스틸레이션이 출력층에서의 디스틸레이션보다 더 효과적임을 확인하였으며, 이는 고차원 임베딩 공간에서 공통된 청각적 특성을 더 잘 포착하기 때문이다.
• 혼동 행렬 분석 결과, 소프트 레이블 디스틸레이션을 적용할 경우 가장 모호한 장면 쌍 간의 오분류 오류가 뚜렷하게 감소하였다.