[논문 리뷰] Densely Connected Convolutional Networks for Speech Recognition

Chia Yu Li, Ngoc Thang Vu|arXiv (Cornell University)|2018. 08. 10.

Speech Recognition and Synthesis참고 문헌 14인용 수 6

한 줄 요약

이 논문은 자동 음성 인식(ASR)에서 음성 모델링을 위한 DenseNet을 소개하며, 밀집 연결과 특징 재사용을 활용하여 컴act하고 깊은 네트워크를 구축한다. Wall Street Journal 및 Resource Management 데이터셋에서 최신 기술 수준(SOTA) 성능을 달성하며, DNN, CNN, VGG보다도 뛰어난 성능을 내는데, 훈련 데이터의 절반만으로도 이를 달성하여 데이터 효율성과 훈련 효율성이 뛰어나다는 것을 입증한다. 특히 복합 구조와 압축 구성 요소를 통해 성능 향상을 이룬다.

ABSTRACT

This paper presents our latest investigation on Densely Connected Convolutional Networks (DenseNets) for acoustic modelling (AM) in automatic speech recognition. DenseN-ets are very deep, compact convolutional neural networks, which have demonstrated incredible improvements over the state-of-the-art results on several data sets in computer vision. Our experimental results show that DenseNet can be used for AM significantly outperforming other neural-based models such as DNNs, CNNs, VGGs. Furthermore, results on Wall Street Journal revealed that with only a half of the training data DenseNet was able to outperform other models trained with the full data set by a large margin.

연구 동기 및 목표

• 자동 음성 인식(ASR)에서 밀집 연결 컨volution 네트워크(DenseNets)의 효과성을 조사하기 위해.
• DenseNets가 제한된 훈련 데이터와 낮은 계산 비용으로 높은 성능을 달성할 수 있는지 평가하기 위해.
• 깊이, 복합 레이어, 압축과 같은 아키텍처 구성 요소가 ASR 성능와 훈련 효율성에 미치는 영향을 분석하기 위해.
• 표준 ASR 벤치마크(WSJ 및 RM)에서 DNN, CNN, VGG와 같은 표준 모델들과의 비교를 통해 DenseNet의 성능을 평가하기 위해.

제안 방법

• DenseNet은 각 레이어가 이후 모든 레이어에 직접 스킵 연결을 가지며, 각 레이어의 입력은 이전 모든 특징 맵의 연결(concatenation)이다.
• 각 레이어의 복합 함수는 배치 정규화, ReLU 활성화 함수, 3×3 컨볼루션 레이어로 구성된다.
• 밀집 블록은 밀집 연결을 가진 레이어 그룹이며, 특징 맵의 차원을 줄이고 채널을 압축하기 위해 1×1 컨볼루션과 2×2 평균 풀링을 사용하는 전이 레이어가 있다.
• 매개변수를 줄이고 훈련 속도를 높이기 위해, 3×3 컨볼루션 이전에 1×1 컨볼루션을 사용하는 복합 구조와, 초수치 매개변수 θ를 사용한 압축 기능을 네트워크에 통합한다.
• 모델은 적응되지 않은 40차원 로그 멜 필터뱅크 특징과 개선된 dev’93 세트에서의 WER 최적화를 위해 훈련된다.
• 깊이, 밀집 블록 수, 압축 비율(θ)과 같은 하이퍼파rameter는 성능과 훈련 시간을 최적화하기 위해 체계적으로 조정된다.

실험 결과

연구 질문

• RQ1 표준 모델과 비교해 훨씬 적은 훈련 데이터로 DenseNet이 ASR에서 최신 기술 수준 성능을 달성할 수 있는가?
• RQ2 깊이, 복합 레이어, 압축과 같은 아키텍처 구성 요소가 훈련 속도와 인식 정확도에 어떤 영향을 미치는가?
• RQ3 DenseNet의 컴act한 특성은 음성 모델링에서 뛰어난 데이터 효율성을 가능하게 하는가?
• RQ4 WSJ 및 RM 데이터셋에서 DNN, CNN, VGG와 비교해 DenseNet의 WER 및 훈련 시간은 어떻게 되는가?

주요 결과

• 깊이 61, 압축 비율 θ=0.4인 DenseNet-C는 3시간 분량의 RM 데이터셋에서 최고의 WER 1.91을 기록하며, 다른 DenseNet 변종 및 표준 모델들을 모두 앞서나갔다.
• Wall Street Journal 데이터셋에서, 78시간 분량의 전체 데이터셋의 절반인 36시간 분량의 데이터로 훈련된 DenseNet-C는 dev’93에서 WER 7.52를 기록했으며, 전체 데이터셋으로 훈련된 모델의 최적 성능인 7.12에 매우 가까운 성능을 보였다.
• 4개의 밀집 블록과 깊이 61을 가진 DenseNet-C는 RM 데이터셋에서 WER 2.10을 기록했으며, 더 적은 매개변수와 더 높은 압축 비율 덕분에 3개의 밀집 블록을 가진 경우보다 훈련 시간이 크게 단축되었다.
• 깊이 61과 θ=0.4를 가진 모델은 RM 및 WSJ 데이터셋 양쪽에서 최고의 성능를 기록했으며, 깊이와 압축이 최적 결과를 내기 위해 필수적임을 입증했다.
• DenseNet-C는 RM 및 WSJ 데이터셋 양쪽에서 DNN, CNN, VGG를 크게 앞서나갔으며, 특히 WSJ 전체 데이터셋으로 훈련된 DNN, CNN, VGG와 비교해도 큰 성능 격차를 보였다.
• 밀집 블록 수를 3개에서 4개로 늘리면서 매개변수 수가 줄어들고 더 자주 압축이 일어나면서 훈련 시간이 25% 감소했으며, 이는 12 에포크에서 16 에포크로 줄어든 결과였다.