[논문 리뷰] Neural ODE with Temporal Convolution and Time Delay Neural Networks for Small-Footprint Keyword Spotting

Hiroshi Fuketa, Yukinori Morita|arXiv (Cornell University)|2020. 08. 01.

Speech Recognition and Synthesis참고 문헌 9인용 수 4

한 줄 요약

이 논문은 소형 키���워드 스로잉(KWS)을 위한 효율적인 추론과 모델 크기 감소를 가능하게 하는 시간적 컨볼루션과 시간 지연 신경망을 통합한 새로운 Neural ODE 기반 아키텍처를 제안한다. 배치 정규화를 통합하고 계산을 최적화함으로써 기존 KWS 모델 대비 파라미터 수를 68% 감소시켰으며, 자원이 제한된 장치에 대한 구현 가능성을 크게 향상시켰다.

ABSTRACT

In this paper, we propose neural network models based on the neural ordinary differential equation (NODE) for small-footprint keyword spotting (KWS). We present techniques to apply NODE to KWS that make it possible to adopt Batch Normalization to NODE-based network and to reduce the number of computations during inference. Finally, we show that the number of model parameters of the proposed model is smaller by 68% than that of the conventional KWS model.

연구 동기 및 목표

• 제한된 메모리와 계산 자원을 가진 장치에 키타워드 스로잉 모델을 구현하는 데 도전하는 것.
• 배치 정규화를 가능하게 하고 추론 계산을 줄임으로써 Neural Ordinary Differential Equations (NODEs)를 소형 키타워드 스로잉(KWS)에 적응시키는 것.
• 높은 정확도를 유지하면서 모델 크기를 최소화하는 경량이고 효율적인 딥 러닝 아키텍처를 설계하는 것.
• 시간적 컨볼루션과 시간 지연 신경망(TDNN) 구성 요소를 NODE 프레임워크에 통합하여 KWS에서의 순차적 모델링 성능을 향상시키는 것.

제안 방법

• 음성 시퀀스의 국소적 시간 패턴을 포착하기 위해 시간적 컨볼루션 레이어를 통합한 수정된 NODE 아키텍처를 도입한다.
• 파라미터 공유를 통해 장거리 의존성을 모델링함으로써 효율성을 향상시키기 위해 시간 지연 신경망(TDNN) 레이어를 활용한다.
• NODE 블록 간에 배치 정규화를 적용하여 NODE 프레임워크에 적합하게 조정함으로써 학습 안정성과 수렴 성능을 향상시킨다.
• 구조적 및 학습 시기 수정을 통해 NODE 함수 평가 횟수를 줄임으로써 추론을 최적화한다.
• 기울기 흐름 향상과 학습 안정성 향상을 위해 NODE 블록 내부에 잔차 연결 구조를 사용한다.
• NODE의 연속적 깊이 모델링과 컨볼루션 및 TDNN 레이어의 인덕티브 바이어스를 조합하여 더 나은 시퀀스 표현을 확보한다.

실험 결과

연구 질문

• RQ1 최소한의 파라미터 수로 Neural ODEs가 소형 키타워드 스로잉(KWS)에 효과적으로 적용될 수 있는가?
• RQ2 Neural ODE 프레임워크에 배치 정규화를 성공적으로 통합할 수 있는가?
• RQ3 시간적 컨볼루션과 시간 지연 신경망의 조합이 KWS에서 모델의 효율성과 정확도에 어떤 영향을 미치는가?
• RQ4 성능을 희생시키지 않고 Neural ODE 기반 KWS 모델의 추론 계산을 어느 정도 줄일 수 있는가?

주요 결과

• 제안된 모델은 기존 KWS 모델 대비 파라미터 수를 68% 감소시켜 엣지 장치에 대한 구현 가능성을 크게 향상시켰다.
• NODE 프레임워크에 배치 정규화를 통합함으로써 학습 안정성과 수렴 성능, 정확도가 향상되었다.
• 시간적 컨볼루션과 TDNN 레이어의 조합은 음성 입력에서 국소적 및 장거리 시간적 특징을 포착하는 데 모델의 능력을 향상시켰다.
• 구조적 최적화를 통해 추론 계산이 감소하여 실시간 배포에 더 효율적인 모델이 되었다.