[논문 리뷰] Dynamic Restrained Uncertainty Weighting Loss for Multitask Learning of Vocal Expression

Meishu Song, Zijiang Yang외 7명|arXiv (Cornell University)|2022. 06. 22.

Speech Recognition and Synthesis인용 수 4

한 줄 요약

이 논문은 음성 표현 인식을 위한 다중 작업 학습에서 다수의 작업을 균형 있게 처리하기 위해, 불확실성 가중치와 동적 가중 평균을 결합한 새로운 손실 가중 전략인 동적 제약 불확실성 가중법(Dynamic Restrained Uncertainty Weighting, DRUW)을 제안한다. 작업 가중치의 합을 제어하기 위한 제약 항을 도입함으로써, 학습의 안정성과 해석 가능성을 향상시키며, ICML ExVo 2022 챌린지에서 테스트 H-Mean 점수 0.394를 기록하여 기준 모델의 0.335보다 유의미하게 뛰어난 성능을 달성한다.

ABSTRACT

We propose a novel Dynamic Restrained Uncertainty Weighting Loss to experimentally handle the problem of balancing the contributions of multiple tasks on the ICML ExVo 2022 Challenge. The multitask aims to recognize expressed emotions and demographic traits from vocal bursts jointly. Our strategy combines the advantages of Uncertainty Weight and Dynamic Weight Average, by extending weights with a restraint term to make the learning process more explainable. We use a lightweight multi-exit CNN architecture to implement our proposed loss approach. The experimental H-Mean score (0.394) shows a substantial improvement over the baseline H-Mean score (0.335).

연구 동기 및 목표

• 음성 표현 인식을 위한 다중 작업 학습(MTL)에서 작업 난이도의 불균형이 성능을 저하시킬 수 있는 문제를 해결하기 위해.
• 작업의 불확실성과 기울기 동역학을 기반으로 손실 가중치를 동적으로 조정하여 모델의 일반화 능력과 학습 안정성을 향상시키기 위해.
• 가중치의 합을 탄력적인 목표 값으로 제어하는 제약 항을 도입하여 손실 가중 메커니즘의 해석 가능성을 향상시키기 위해.
• 다양한 네트워크 깊이에서 작업별 특징 추출이 가능한 경량의 다중 출력 컨볼루션 네트워크 아키텍처를 개발하기 위해.
• 불확실성 가중치와 동적 가중 평균의 장점을 융합하여 ICML ExVo 2022 챌린지에서 뛰어난 성능을 달성하기 위해.

제안 방법

• 다섯 개인 계층적 CNN 블록을 갖춘 다중 출력 컨볼루션 네트워크 아키텍처를 제안하여, 다양한 네트워크 깊이에서의 조기 및 후기 예측을 통해 다양한 특징 표현을 캡처한다.
• 불확실성 가중치(UW)를 확장한 동적 제약 불확실성 가중 손실(DRUW)을 도입하며, 이는 로그 가중치의 합을 탄력적인 목표 값 φ로 제어하는 제약 항을 추가한다.
• UW의 불확실성 기반 손실 가중치와 DWA의 최근 손실의 지수 이동 평균을 활용한 동적 가중치 적응 방식을 융합한다.
• 통합 손실 함수는 다음을 포함한다: (1) 불확실성 가중 작업 손실, (2) 극단적인 가중치 값에 대한 정규화 항, (3) 절대 로그 가중치의 합이 φ에 가까워지도록 강제하는 제약 항.
• 소프트맥스 방식처럼 가중치 합을 1로 고정하지 않고, φ에 수렴하도록 허용하는 탄력적인 정규화 방식을 적용하여 작업 간 균형을 자동 조정한다.
• 2.5초 길이의 오디오 클립에서 추출한 멜 스펙트로그램 특징(64×512)을 사용하며, AdamW 옵timizer를 사용하여 학습하며, 초기 학습률 0.001, 배치 크기 32, RTX 3090 및 A40 GPU에서 60 에포크 동안 학습한다.

실험 결과

연구 질문

• RQ1 불확실성 기반과 동적 가중치 방식을 융합한 하이브리드 손실 가중 전략이 음성 표현 인식에서 다중 작업 학습 성능을 향상시킬 수 있는가?
• RQ2 손실 가중치의 합을 제어하는 제약 항을 도입함으로써 학습 안정성과 모델의 해석 가능성이 향상되는가?
• RQ3 제안된 DRUW 손실이 등가 가중치, 불확실성 가중치, 동적 가중 평균과 같은 기준 전략에 비해 다수의 작업을 균형 있게 조절하는 데 얼마나 효과적인가?
• RQ4 다중 출력 컨볼루션 네트워크 아키텍처가 음성 분석의 다양한 작업에서 특징 표현 학습을 얼마나 향상시키는가?
• RQ5 DRUW 손실이 기존의 MTL 기준 모델에 비해 ICML ExVo 2022 챌린지에서 더 나은 일반화 능력과 강건성을 확보할 수 있는가?

주요 결과

• 제안된 DRUW 손실은 ExVo 2022 챌린지에서 테스트 H-Mean 점수 0.394를 기록하여 기준 모델의 0.335보다 유의미하게 뛰어난 성능을 달성했다.
• 다중 출력 컨볼루션 네트워크에 DRUW 손실을 적용한 결과, 검증 H-Mean 0.423과 테스트 H-Mean 0.394를 기록하여 강력한 일반화 능력과 강건성을 입증했다.
• 기타 손실 전략과 비교했을 때, DRUW는 불확실성 가중치(UW), 정규화된 불확실성 가중치(RUW), 동적 가중 평균(DWA)을 모두 초월하여 작업 기여도 균형 조절의 효과성을 입증했다.
• DRUW의 제약 구성 요소는 더 안정적이고 해석 가능한 가중치 적응을 가능하게 하여, 더 쉬운 작업에서의 과적합을 방지하고 어려운 작업의 성능 향상에 기여했다.
• 데이터 증강이나 앙상블 기법 없이도 최신 기술 수준의 성능를 달성하여, 제안된 아키텍처와 손실의 효율성과 효과성을 입증했다.
• 결과적으로, 제약된 합을 가진 불확실성 기반 가중치와 동적 적응의 융합이 음성 표현 인식에서 다중 작업 학습 성능 향상에 기여한다는 것이 확인되었다.