[논문 리뷰] Neural Architecture Search for Speech Recognition.

Shoukang Hu, Xurong Xie외 4명|arXiv (Cornell University)|2020. 07. 17.

Speech Recognition and Synthesis인용 수 7

한 줄 요약

이 논문은 인과적 시간 지연 신경망(TDNN-F) 음성 모델에서 두 가지 핵심 초매개변수인 스플리싱 컨텍스트 오프셋과 버티컬 프로젝션 차원을 자동으로 최적화하기 위한 신경망 아키텍처 탐색(NAS) 프레임워크를 제안한다. 라티스-프리 MMI 훈련 환경에서 DARTS, Gumbel-Softmax DARTS, 파이프라인 DARTS, 그리고 페널티 DARTS를 적용함으로써, 300시간 분량의 Switchboard 작업에서 수작업으로 튜닝된 기준 모델 대비 절대 단어 오류률(WER)을 1.0% 감소시키고 모델 크기를 28% 감소시켰다.

ABSTRACT

Deep neural networks (DNNs) based automatic speech recognition (ASR) systems are often designed using expert knowledge and empirical evaluation. In this paper, a range of neural architecture search (NAS) techniques are used to automatically learn two hyper-parameters that heavily affect the performance and model complexity of state-of-the-art factored time delay neural network (TDNN-F) acoustic models: i) the left and right splicing context offsets; and ii) the dimensionality of the bottleneck linear projection at each hidden layer. These include the standard DARTS method fully integrating the estimation of architecture weights and TDNN parameters in lattice-free MMI (LF-MMI) training; Gumbel-Softmax DARTS that reduces the confusion between candidate architectures; Pipelined DARTS that circumvents the overfitting of architecture weights using held-out data; and Penalized DARTS that further incorporates resource constraints to adjust the trade-off between performance and system complexity. Parameter sharing among candidate architectures was also used to facilitate efficient search over up to $7^{28}$ different TDNN systems. Experiments conducted on a 300-hour Switchboard conversational telephone speech recognition task suggest the NAS auto-configured TDNN-F systems consistently outperform the baseline LF-MMI trained TDNN-F systems using manual expert configurations. Absolute word error rate reductions up to 1.0% and relative model size reduction of 28% were obtained.

연구 동기 및 목표

• TDNN-F 음성 모델의 핵심 초매개변수 설정을 자동화하여 수작업 전문가 튜닝에 대한 의존도를 줄이기 위해.
• 스플리싱 컨텍스트 오프셋과 버티컬 프로젝션 차원을 동시에 최적화하여 자동 음성 인식 성능을 향상시키기 위해.
• NAS 동안 자원 제약 조건을 통합하여 모델 정확도와 복잡도의 균형을 이루기 위해.
• 파rameter 공유를 활용하여 최대 7^28가지의 다른 TDNN 구성이 가능한 광범위한 검색 공간에서 효율적인 검색을 가능하게 하기 위해.
• 표준 ASR 벤치마크에서 LF-MMI로 훈련된 TDNN-F 시스템을 향상시키기 위해 여러 NAS 변종의 효과를 평가하기 위해.

제안 방법

• 라티스-프리 MMI(LF-MMI) 훈련 중에 아키텍처 가중치(스플리싱 컨텍스트 및 버티컬 차원)와 모델 가중치를 동시에 최적화하기 위해 DARTS의 미분 가능 아키텍처 탐색 프레임워크를 적용한다.
• 후보 연산의 미분 가능 샘플링을 가능하게 하여 아키텍처 혼동을 줄이고 검색 안정성을 향상시키기 위해 Gumbel-Softmax DARTS를 활용한다.
• 검색 과정 중 아키텍처 가중치의 과적합을 방지하기 위해 보류된 데이터를 사용한 파이프라인 DARTS를 사용한다.
• 모델 성능과 복잡도의 균형을 이루기 위해 자원 제약 조건을 명시적으로 강제 적용하는 페널티 DARTS를 도입한다.
• 후보 아키텍처 간의 파라미터 공유를 구현하여 계산 비용을 크게 감소시키고 7^28 크기의 검색 공간에서의 검색을 가능하게 한다.
• 엔드 투 엔드 LF-MMI 훈련과 함께 미분 가능 아키텍처 탐색을 활용하여 모델 및 아키텍처 가중치의 기울기 기반 최적화를 가능하게 한다.

실험 결과

연구 질문

• RQ1 NAS는 TDNN-F 모델에서 스플리싱 컨텍스트 오프셋과 버티컬 차원의 설정을 효과적으로 자동화할 수 있는가?
• RQ2 DARTS, Gumbel-Softmax DARTS, 파이프라인 DARTS, 페널티 DARTS 등의 다양한 NAS 변종이 TDNN-F 음성 모델 최적화에 어떻게 비교되는가?
• RQ3 수작업 튜닝 대비 NAS는 얼마나 모델 크기를 줄일 수 있으며, 동시에 ASR 성능을 유지하거나 향상시킬 수 있는가?
• RQ4 파라미터 공유를 통해 7^28가지의 가능한 TDNN 구성이 가능한 매우 큰 검색 공간에서 효율적인 검색을 가능하게 할 수 있는가?
• RQ5 NAS는 표준 300시간 분량의 Switchboard ASR 벤치마크에서 일관된 단어 오류률 향상을 이끌어낼 수 있는가?

주요 결과

• NAS 최적화된 TDNN-F 시스템은 수작업으로 구성된 기준 모델 대비 절대 단어 오류률을 최대 1.0% 감소시켰다.
• NAS 접근법은 기준 모델 대비 모델 크기를 28% 감소시켜 효과적인 복잡도 제어를 보여주었다.
• 모든 NAS 변종—특히 파이프라인 DARTS와 페널티 DARTS—표준 DARTS에 비해 일반화 성능을 향상시키고 과적합을 줄였다.
• 파라미터 공유의 활용으로 최대 7^28가지의 서로 다른 TDNN 구성이 가능한 검색 공간에서의 효율적 검색이 가능해졌다.
• NAS 최적화 모델은 Switchboard 300시간 데이터셋에서 여러 평가 지표에서 전문가가 튜닝한 기준 모델을 일관되게 뛰어넘었다.
• 페널티 DARTS는 검색 과정에서 명시적인 자원 제약 조건을 통합함으로써 성능과 모델 복잡도의 균형을 효과적으로 달성했다.