[논문 리뷰] Very Deep Convolutional Neural Networks for Raw Waveforms

Wei Dai, Chia Dai외 3명|arXiv (Cornell University)|2016. 10. 01.

Music and Audio Processing참고 문헌 14인용 수 7

한 줄 요약

이 논문은 수신장이 큰 첫 번째 레이어와 작은 수신장이 깊은 레이어를 갖춘 매우 깊은 완전 컨volution 신경망(최대 34층)을 제안하며, 수동으로 설계된 특징(예: 로그-멜 스펙트로그램) 없이도 원시 음성 웨이브폼을 직접 처리한다. 첫 번째 레이어에서 큰 수신장, 깊은 레이어에서 작은 수신장, 배치 정규화, 잔차 연결을 사용함으로써, 환경 음향 인식에서 71.8%의 정확도를 달성하였으며, 2층 모델보다 15% 이상 뛰어나고, 로그-멜 스펙트로그램을 사용하는 모델의 성능을 뛰어넘는다.

ABSTRACT

Learning acoustic models directly from the raw waveform data with minimal processing is challenging. Current waveform-based models have generally used very few (~2) convolutional layers, which might be insufficient for building high-level discriminative features. In this work, we propose very deep convolutional neural networks (CNNs) that directly use time-domain waveforms as inputs. Our CNNs, with up to 34 weight layers, are efficient to optimize over very long sequences (e.g., vector of size 32000), necessary for processing acoustic waveforms. This is achieved through batch normalization, residual learning, and a careful design of down-sampling in the initial layers. Our networks are fully convolutional, without the use of fully connected layers and dropout, to maximize representation learning. We use a large receptive field in the first convolutional layer to mimic bandpass filters, but very small receptive fields subsequently to control the model capacity. We demonstrate the performance gains with the deeper models. Our evaluation shows that the CNN with 18 weight layers outperform the CNN with 3 weight layers by over 15% in absolute accuracy for an environmental sound recognition task and matches the performance of models using log-mel features.

연구 동기 및 목표

• 수동으로 설계된 특징(예: 로그-멜 스펙트로그램)이 아닌 원시 음성 웨이브폼을 직접 처리할 수 있는 매우 깊은 컨volution 신경망을 개발하는 것.
• 긴 원시 음성 시퀀스(예: 32,000개 샘플)에 적용했을 때 매우 깊은 네트워크의 훈련 곤란 문제를 해결하는 것.
• 최소한의 인덕티브 바이어스를 가진 깊은 아키텍처가 시간 도메인 신호에서 효과적인 음향 표현을 직접 학습할 수 있는지 조사하는 것.
• 완전 컨volution 신경망(완전 연결 레이어 없음)의 성능을 표준 아키텍처(완전 연결 레이어 있음)와 비교하는 것.
• 첫 번째 컨볼루션 레이어의 수신장 크기가 표현 학습과 모델 성능에 미치는 영향을 분석하는 것.

제안 방법

• 완전 연결 레이어와 드롭아웃을 피함으로써 표현 학습을 극대화하는 최대 34개의 가중치 레이어를 갖춘 완전 컨볼루션 네트워크 설계.
• 첫 번째 컨볼루션 레이어에서 큰 수신장(80)을 사용하여 밴드패스 필터링을 모방하고, 깊은 레이어에서는 작은 수신장(3)을 사용하여 모델 용량을 제어.
• 훈련 안정화와 매우 깊은 네트워크의 최적화를 가능하게 하기 위해 배치 정규화와 잔차 학습 블록 적용.
• 시퀀스 길이를 줄이면서도 시간 해상도를 유지하기 위해 스트라이드가 4x1인 다운샘플링을 통해 다중 스케일 다운샘플링 구현.
• 전처리나 특징 공학 없이 교차 엔트로피 손실을 사용해 원시 웨이브폼에서 엔드 투 엔드로 모델 훈련.
• 변동 길이의 오디오 입력에 대한 추론을 가능하게 하기 위해 최종 소프트맥스 레이어 이전에 글로벌 평균 풀링 적용.

실험 결과

연구 질문

• RQ1 원시 음성 웨이브폼에서 중간 단계의 특징 공학 없이 매우 깊은 완전 컨볼루션 네트워크를 효과적으로 훈련시킬 수 있는가?
• RQ2 첫 번째 컨볼루션 레이어의 수신장 크기가 표현 학습과 최종 성능에 어떤 영향을 미치는가?
• RQ3 완전 연결 레이어와 드롭아웃을 제거하면 웨이브폼 기반 음향 모델의 일반화 성능이 향상되는가?
• RQ4 배치 정규화와 잔차 연결이 긴 오디오 시퀀스에서 깊은 네트워크의 훈련에 어떤 영향을 미치는가?
• RQ5 원시 웨이브폼 기반 모델이 환경 음향 인식에서 로그-멜 스펙트로그램 기반 모델과 성능 상동을 이룰 수 있는가?

주요 결과

• 18층 완전 컨볼루션 네트워크는 환경 음향 인식에서 71.8%의 테스트 정확도를 달성하였으며, 3층 모델보다 절대 정확도에서 15.56% 높게 성과를 냈다.
• 원시 웨이브폼을 사용하는 모델가 로그-멜 스펙트로그램 특징을 사용하는 모델와 동등한 성능을 보이며, 원시 신호와 공학적 특징 간의 성능 상동을 입증했다.
• M34-res 모델(34층)은 훈련 정확도 99.21%를 기록했지만 테스트 정확도는 63.47%에 머물러, 데이터셋 크기가 제한되어 있어 과적합이 발생했음을 시사한다.
• 배치 정규화를 제거하면 깊은 모델에서 훈련이 실패한다(예: M34-no-bn은 훈련 정확도 10.96%에 머물러), 이는 최적화 과정에서 배치 정규화의 핵심적 역할을 강조한다.
• 첫 번째 레이어에서 작은 수신장(수신장=8)을 사용한 모델는 수신장=80인 경우에 비해 성능이 최대 6.6% 저하되며, 이는 초기에 큰 수신장을 갖는 것이 스펙트럼 특징을 포착하는 데 필수적임을 보여준다.
• 완전 연결 레이어는 모델 파라미터와 훈련 시간을 증가시키지만 테스트 정확도 향상에 기여하지 않으며, 일부 경우에서는 일반화 성능까지 저하시키는 경향이 있다.