[논문 리뷰] Relational Teacher Student Learning with Neural Label Embedding for Device Adaptation in Acoustic Scene Classification

Hu Hu, Sabato Marco Siniscalchi외 2명|arXiv (Cornell University)|2020. 07. 31.

Music and Audio Processing참고 문헌 31인용 수 5

한 줄 요약

이 논문은 신경 레이블 임베딩(NLE)을 활용한 관계 기반 교사-학생 학습 프레임워크를 제안하여 음향 환경 분류에서 기기 불일치 문제를 해결한다. NLE를 통해 음향 환경 클래스 간의 구조적 관계를 포착하고, 쌍체의 소스-타겟 데이터가 없는 관계 기반 distillation을 적용함으로써, 장치 C에서 최대 64.2%의 정확도 향상을 달성하여 DCASE 2018 Task1b 데이터셋에서 one-hot 및 전통적인 소프트 레이블 적응 기법을 모두 능가한다.

ABSTRACT

In this paper, we propose a domain adaptation framework to address the device mismatch issue in acoustic scene classification leveraging upon neural label embedding (NLE) and relational teacher student learning (RTSL). Taking into account the structural relationships between acoustic scene classes, our proposed framework captures such relationships which are intrinsically device-independent. In the training stage, transferable knowledge is condensed in NLE from the source domain. Next in the adaptation stage, a novel RTSL strategy is adopted to learn adapted target models without using paired source-target data often required in conventional teacher student learning. The proposed framework is evaluated on the DCASE 2018 Task1b data set. Experimental results based on AlexNet-L deep classification models confirm the effectiveness of our proposed approach for mismatch situations. NLE-alone adaptation compares favourably with the conventional device adaptation and teacher student based adaptation techniques. NLE with RTSL further improves the classification accuracy.

연구 동기 및 목표

• 일부 기기에서 학습된 모델이 다른 기기에서는 성능이 떨어지는 장치 불일치 문제를 해결한다.
• 쌍체의 소스-타겟 데이터 또는 유사 도메인을 필요로 하는 기존 지식 distillation의 한계를 극복한다.
• 음향 환경 클래스 간의 내재된 구조적 관계를 활용하여 도메인 적응의 강건성을 향상시킨다.
• 쌍체의 소스-타겟 샘플이 없이도, 오직 타겟 데이터와 NLE만을 사용하여 소스 기기에서 타겟 기기로 지식을 전달하는 방법을 개발한다.
• 클래스 간의 의미적 관계를 저차원 레이블 임베딩에 인코딩하여 모델의 일반화 능력을 향상시킨다.

제안 방법

• 소스 도메인 모델(AlexNet-L)을 장치 A의 데이터에서 학습하여 각 클래스의 소프트 레이블 분포를 생성한다.
• 소스 모델의 소프트 레이블 분포의 클래스별 중심점으로서 신경 레이블 임베딩(NLE)을 계산한다.
• NLE를 관계적 사전 정보로 사용하여 학생 및 교사 모델 출력의 관계적 구조 간의 차이를 최소화하는 관계 기반 지식 distillation(RTSL)을 적용한다.
• 쌍체의 소스-타겟 샘플이 필요 없이, 오직 타겟 도메인 데이터(장치 B 또는 C)와 NLE 벡터만을 사용하여 학생 모델을 적응시킨다.
• NLE에 의해 인코딩된 구조적 관계를 시각화하고 검증하기 위해 SKLD 기반 t-SNE 및 PCA를 사용한다.
• 클래스 간의 의미적 유사성을 유지하기 위해 NLE 유도 관계 제약 조건이 적용된 교차 엔트로피 손실을 최적화하여 학생 모델을 최적화한다.

실험 결과

연구 질문

• RQ1 신경 레이블 임베딩(NLE)은 기기 종속적이지 않은 방식으로 음향 환경 클래스 간의 구조적 관계를 효과적으로 인코딩할 수 있는가?
• RQ2 쌍체의 소스-타겟 데이터가 없는 상황에서 NLE를 활용한 관계 기반 지식 distillation(RTSL)은 음향 환경 분류의 도메인 적응에 기여하는가?
• RQ3 NLE 기반 적응은 기기 불일치 시점에서 기존 one-hot 및 소프트 레이블 지식 distillation 기법과 비교해 정확도 면에서 어떻게 성과를 내는가?
• RQ4 RTSL의 관계 제약 조건은 다양한 녹음 기기 간의 모델 일반화 능력을 어느 정도 향상시키는가?
• RQ5 NLE 벡터의 시각화 결과는 음향 환경 간에 의미 있는 의미 클러스터가 존재함을 확인할 수 있는가?

주요 결과

• NLE 기반 적응은 장치 B에서 58.7%의 정확도, 장치 C에서 62.0%의 정확도를 기록하여 one-hot 적응(각각 57.0% 및 60.8%)을 능가했다.
• 제안된 NLE-RTSL 프레임워크는 장치 B에서 59.2%의 정확도, 장치 C에서 64.2%의 정확도를 기록하여 장치 C에서 one-hot 적응 대비 4.2% 향상된 최고의 성능을 보였다.
• t-SNE 및 PCA를 활용한 시각 분석 결과, NLE 벡터는 의미적 관계를 유지하며, 공용 실내, 실외, 교통 환경와 관련된 클러스터를 형성하는 것으로 확인되었다.
• NLE 벡터는 클래스 간 관계를 압축되고 안정적인 표현으로 제공하여 노이즈가 많은 소프트 레이블에 대한 민감도를 감소시켰다.
• NLE를 활용한 관계 기반 distillation은 표준 소프트 레이블 distillation보다 성능 향상이著명하여, 관계 기반 인덕티브 바이어스가 지식 전달을 향상시킨다는 것을 시사한다.
• 쌍체의 소스-타겟 데이터가 없이도, 새로운 기기로의 모델 적응이 성공적으로 수행되어 실생활 적용 가능성에 대한 타당성을 입증했다.