[논문 리뷰] Knowing What to Listen to: Early Attention for Deep Speech Representation Learning.

Amirhossein Hajavi, Ali Etemad|arXiv (Cornell University)|2020. 09. 03.

Speech Recognition and Synthesis참고 문헌 34인용 수 7

한 줄 요약

이 논문은 음성 신호의 개별 주파수 범위에 초점을 맞출 수 있도록 하는 새로운 주의 메커니즘인 미세 주파수 조기 주의(Fine-grained Early Frequency Attention, FEFA)를 제안한다. CNN 기반 모델에 FEFA를 통합함으로써, VoxCeleb와 IEMOCAP 데이터셋에서 화자 인식 및 잡음 조건 하에서의 강건성 향상에 있어 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Deep learning techniques have considerably improved speech processing in recent years. Speech representations extracted by deep learning models are being used in a wide range of tasks such as speech recognition, speaker recognition, and speech emotion recognition. Attention models play an important role in improving deep learning models. However current attention mechanisms are unable to attend to fine-grained information items. In this paper we propose the novel Fine-grained Early Frequency Attention (FEFA) for speech signals. This model is capable of focusing on information items as small as frequency bins. We evaluate the proposed model on two popular tasks of speaker recognition and speech emotion recognition. Two widely used public datasets, VoxCeleb and IEMOCAP, are used for our experiments. The model is implemented on top of several prominent deep models as backbone networks to evaluate its impact on performance compared to the original networks and other related work. Our experiments show that by adding FEFA to different CNN architectures, performance is consistently improved by substantial margins, even setting a new state-of-the-art for the speaker recognition task. We also tested our model against different levels of added noise showing improvements in robustness and less sensitivity compared to the backbone networks.

연구 동기 및 목표

• 기존 주의 메커니즘이 음성 신호의 미세 주파수 수준 특징에 집중하는 데에 한계가 있음을 해결하기 위해.
• 화자 인식 및 음성 정서 인식과 같은 음성 표현 학습 과제에서 딥 러닝 모델의 성능을 향상시키기 위해.
• 스펙트럼 성분에 대한 조기에 미세한 주의를 가능하게 하여 모델의 잡음에 대한 강건성을 향상시키기 위해.
• 다양한 CNN 아키텍처와 벤치마크 데이터셋에서 FEFA를 평가하여 일관된 성능 향상을 입증하기 위해.

제안 방법

• FEFA는 네트워크의 조기에 개별 주파수 범위에 주의를 기울이도록 설계되어, 스펙트럼 세부 정보에 대한 미세한 집중을 가능하게 한다.
• 이 주의 메커니즘은 CNN 기반 모델의 입력 또는 초기 합성곱 레이어에 경량 모듈로 통합된다.
• 입력 스펙트로그램에서 유도된 쿼리, 키, 밸류 프로젝션을 사용하여 주파수 범위에 대한 주의 가중치를 계산한다.
• 이 메커니즘은 미분 가능하고 엔드 투 엔드로 학습 가능하여 기반 네트워크와 함께 공동 최적화가 가능하다.
• 일관된 일반화 및 성능 향상을 평가하기 위해 다양한 아키텍처(예: ResNet, DenseNet)에서 FEFA를 평가한다.
• VoxCeleb와 IEMOCAP에서 모델을 훈련 및 테스트하고, 잡음 강건성에 대한 분석 연구를 수행한다.

실험 결과

연구 질문

• RQ1 기존 주의 메커니즘은 시간적 또는 채널 수준의 굵은 특징이 아닌, 개별 주파수 범위에 집중하도록 조정될 수 있는가?
• RQ2 스펙트럼 성분에 대한 조기에 미세한 주의가 화자 및 정서 인식 과제의 성능을 향상시키는가?
• RQ3 FEFA는 다양한 수준의 배경 잡음 조건 하에서 모델의 강건성을 어떻게 향상시키는가?
• RQ4 FEFA는 다양한 CNN 아키텍처와 데이터셋에서 일관되게 성능 향상을 이끌 수 있는가?

주요 결과

• FEFA는 화자 인식 및 음성 정서 인식 과제에서 여러 CNN 아키텍처에서 일관되게 성능 향상을 이룬다.
• FEFA는 VoxCeleb 화자 인식 벤치마크에서 새로운 최고 성능을 달성한다.
• FEFA는 백본 네트워크보다 잡음 조건 하에서 성능 저하가 덜 발생함을 보여주며, 잡음에 대한 강건성이 향상됨을 입증한다.
• 강력한 베이스라인 모델에 적용하더라도 FEFA의 통합은 상당한 성능 향상을 이끌어낸다.