[논문 리뷰] AutoSpeech: Neural Architecture Search for Speaker Recognition

Shaojin Ding, Tianlong Chen외 3명|arXiv (Cornell University)|2020. 05. 07.

Speech Recognition and Synthesis참고 문헌 37인용 수 14

한 줄 요약

이 논문은 화자 인식을 위한 최적의 CNN 아키텍처를 자동으로 발견하는 신경망 아키텍처 탐색(NAS) 프레임워크인 AutoSpeech를 제안한다. 최적의 신경 셀을 탐색하여 이를 반복적으로 스택함으로써, VoxCeleb1에서 화자 식별 및 화자 확인 모두에서 최신 기술 수준의 성능을 달성하며, VGG-M, ResNet-18, ResNet-34보다 유의미하게 적은 파라미터를 사용한다.

ABSTRACT

Speaker recognition systems based on Convolutional Neural Networks (CNNs) are often built with off-the-shelf backbones such as VGG-Net or ResNet. However, these backbones were originally proposed for image classification, and therefore may not be naturally fit for speaker recognition. Due to the prohibitive complexity of manually exploring the design space, we propose the first neural architecture search approach approach for the speaker recognition tasks, named as AutoSpeech. Our algorithm first identifies the optimal operation combination in a neural cell and then derives a CNN model by stacking the neural cell for multiple times. The final speaker recognition model can be obtained by training the derived CNN model through the standard scheme. To evaluate the proposed approach, we conduct experiments on both speaker identification and speaker verification tasks using the VoxCeleb1 dataset. Results demonstrate that the derived CNN architectures from the proposed approach significantly outperform current speaker recognition systems based on VGG-M, ResNet-18, and ResNet-34 back-bones, while enjoying lower model complexity.

연구 동기 및 목표

• 이미지 분류를 위해 설계된 VGG-M 및 ResNet과 같은 표준 CNN 백본의 화자 인식에서의 열등한 성능를 해결하기 위해.
• 문자에 관계없이 화자 인식 작업에 특화된 최적의 CNN 아키텍처를 자동으로 탐색하기 위해.
• 화자 인식을 위한 광범위한 신경망 아키텍처 공간을 탐색하는 데 수작업적, 비체계적인 노력의 감소를 위해.
• 모델 복잡도를 최소화하면서도 화자 식별 및 화자 확인 모두에서 성능 향상을 위해.

제안 방법

• 이 방법은 다양한 연산(예: 깊이 분리형 컨벌루션, 풀링, 스킵 연결 등)을 포함하는 최적의 신경 셀을 탐색하기 위해 미분 가능한 NAS 접근법을 사용한다.
• 검증 세트를 사용하여 VoxCeleb1에서 아키텍처를 최적화하며, 미분 가능한 검색 공간과 가중치 공유를 통해 학습을 가속화한다.
• 최종 CNN 모델은 검색된 신경 셀을 반복적으로 스택하여 구성되며, 구성 가능한 깊이(셀의 수)와 너비(초기 채널 수)를 가진다.
• 유도된 모델들은 d-vector 추출 및 코사인 유사도 스코어링을 포함한 표준 화자 인식 학습 프로토콜을 사용하여 훈련된다.
• 검색 공간에는 3×3 및 5×5 깊이 분리형 컨벌루션, 최대 풀링, 평균 풀링, 스킵 연결 등의 연산이 포함된다.
• 최종 모델은 Adam 옵timizer, 3×10⁻⁴의 가중치 감쇠, 단일 GPU에서 약 1일간의 코사인 학습률 스케줄을 사용하여 훈련된다.

실험 결과

연구 질문

• RQ1 신경망 아키텍처 탐색 프레임워크는 VGG-M, ResNet-18, ResNet-34와 같은 표준 백본보다 화자 인식에서 더 우수한 성능을 내는 CNN 아키텍처를 발견할 수 있는가?
• RQ2 제안된 AutoSpeech 방법은 기존 수작업으로 설계된 모델 대비 더 낮은 모델 복잡도로 더 높은 성능을 달성하는가?
• RQ3 검색된 아키텍처를 확장할 때 셀의 수를 늘리는 것과 채널 수를 늘리는 것 중 어느 것이 더 효과적인가?
• RQ4 검색된 아키텍처는 화자 식별 및 화자 확인 작업 모두에서 어떻게 성능를 발휘하는가?

주요 결과

• 8개의 셀과 128개의 초기 채널을 가진 AutoSpeech 유도 모델은 화자 식별에서 상위 1위 정확도 87.66%와 상위 5위 정확도 96.01%를 기록하여 모든 베이스라인을 초월했다.
• 화자 확인에서 동일한 모델은 8.95%의 동등 오류률(EER)을 기록하여 ResNet-34보다 3.04%포인트 우수했으며, 파라미터 수는 단 1800만 개에 불과했다.
• 경량 모델(8개 셀, 64채널)은 ResNet-34보다 상위 1위 정확도에서 3.11%포인트, EER에서 2.86%포인트 우수했으며, 파라미터 수는 단 500만 개에 불과했다.
• 파라미터 수가 유사한 조건에서, 셀의 수를 늘리는 것(N=30, C=64)보다 채널 수를 늘리는 것(N=8, C=128)이 성능 향상에 더 효과적이었다.
• 모든 AutoSpeech 모델은 화자 식별 및 화자 확인 모두에서 베이스라인 모델(VGG-M, ResNet-18, ResNet-34)을 모두 초월하여, NAS가 화자 인식에 효과적임을 입증했다.
• 검색 과정은 깊이 분리형 컨벌루션, 풀링, 스킵 연결을 포함하는 신경 셀이 화자 임베딩 학습에 최적의 구성 요소임을 식별했다.