[논문 리뷰] Understanding Audio Pattern Using Convolutional Neural Network From Raw Waveforms

Shuhui Qu, Juncheng Li외 2명|arXiv (Cornell University)|2016. 11. 29.

Music and Audio Processing참고 문헌 5인용 수 10

한 줄 요약

이 논문은 스펙트럼 변환 없이 원시 파형에서 직접 의미 있는 음성 패턴을 추출하기 위해 1D 컨volution 신경망(CNN)을 사용하는 데이터 기반 접근법을 제안한다. 첫 번째 컨볼루션 레이어에서 파형 유사 행동을 보이는 밴드패스 필터를 학습함으로써, 최소한의 손실으로 효과적인 음성 인식과 신호 복원이 가능함을 보여주며, 깊이 신경망이 자율적으로 유의미한 시간 도메인 표현을 학습할 수 있음을 입증한다.

ABSTRACT

One key step in audio signal processing is to transform the raw signal into representations that are efficient for encoding the original information. Traditionally, people transform the audio into spectral representations, as a function of frequency, amplitude and phase transformation. In this work, we take a purely data-driven approach to understand the temporal dynamics of audio at the raw signal level. We maximize the information extracted from the raw signal through a deep convolutional neural network (CNN) model. Our CNN model is trained on the urbansound8k dataset. We discover that salient audio patterns embedded in the raw waveforms can be efficiently extracted through a combination of nonlinear filters learned by the CNN model.

연구 동기 및 목표

• 깊이 신경망(CNN)이 스펙트럼 특징 공학 없이 원시 파형에서 직접 의미 있는 음성 패턴을 학습할 수 있는지 조사하기.
• 학습된 CNN 필터의 행동을 전통적인 웨이블릿 변환과 비교하여 음성 신호의 시간적 및 주파수적 특징을 어떻게 포착하는지 분석하기.
• UrbanSound8K 데이터셋을 사용하여 엔드 투 엔드 음성 인식 작업에서 원시 파형 입력의 효과성을 평가하기.
• 첫 번째 CNN 레이어의 활성화로부터 원래 음성 신호를 복원하여 학습된 표현의 정밀도와 정보 유지 능력을 평가하기.

제안 방법

• UrbanSound8K 데이터셋의 원시 파형에서 끝내기로 훈련된 1D CNN을 환경 음성 분류에 사용한다.
• 첫 번째 컨볼루션 레이어는 역전파를 통해 비선형 필터를 학습하며, 주파수 응답 및 중심 주파수를 결정하기 위해 푸리에 변환을 통해 분석한다.
• 학습된 필터와 전통적 웨이블릿 기저 함수 간의 유사성을 평가하기 위해 웨이블릿 변환과 연속 웨이블릿 변환(CWT)을 비교 기준으로 사용한다.
• 학습된 가중치와 편향을 사용하여 첫 번째 컨볼루션 레이어를 역으로 수행함으로써 신호 복원을 수행하며, 복원된 신호와 원본 신호를 비교하기 위해 정규화 및 정렬을 적용한다.
• 분류 정확도에 대한 영향을 평가하기 위해 창 크기, 필터 수, 샘플링 속도 등의 영향을 분석한다.
• 커널 분석은 학습된 필터의 파wer 스펙트럼을 계산하고 중심 주파수를 플로팅하여 분포 및 필터 특성의 특성을 평가한다.

실험 결과

연구 질문

• RQ1 원시 파형에서 학습된 CNN의 첫 번째 컨볼루션 레이어 필터가 웨이블릿과 유사한 밴드패스 필터링 행동을 보이는가?
• RQ2 원시 파형에서 훈련된 CNN의 성능은 MFCC와 같은 전통적 스펙트럼 특징을 사용하는 모델과 비교해 볼 때 음성 인식 작업에서 어떻게 다른가?
• RQ3 첫 번째 컨볼루션 레이어의 출력을 사용하여 원래 음성 신호를 최소한의 왜곡으로 복원할 수 있는가?
• RQ4 학습된 필터의 중심 주파수 분포와 대역폭은 청각 인지 또는 웨이블릿 이론과 어떻게 관련이 있는가?
• RQ5 창 크기, 필터 수, 샘플링 속도와 같은 하이퍼파rameter는 원시 파형에서의 모델 인식 정확도에 어떤 영향을 미치는가?

주요 결과

• CNN의 첫 번째 컨볼루션 레이어에서 학습된 필터는 명확한 밴드패스 특성을 보이며, 중심 주파수는 주로 2.5 kHz 이하에 집중되어 있고, 지수 함수에 근접하는 분포를 보이며 웨이블릿 스케일과 유사하다.
• 160샘플(20ms) 대신 더 작은 창 크기 72샘플(9ms)을 사용함으로써 분류 정확도가 3% 향상되어, 높은 시간 해상도가 원시 파형 모델링에 유리함을 시사한다.
• 필터 수를 64로 늘여도 성능 향상이 없었고 수렴 속도가 느려지며, 일정 수 이상에서는 수익 감소 현상이 나타남을 보여준다.
• 22.5 kHz 샘플링 속도에서 78.34%의 정확도를 기록했으며, MFCC 특징을 사용한 경우 69.03%의 정확도를 기록한 것과 비교해 유의미하게 높은 성능을 보여, 고속도 샘플링의 원시 파형 입력의 장점을 입증한다.
• 첫 번째 컨볼루션 레이어의 출력에서 복원된 신호는 원래 음성의 일반적인 시간 도메인 에너지 프로파일과 핵심 패턴을 최소한의 손실로 잘 유지하여, 이 레이어가 필수적인 신호 특성을 유지할 수 있음을 확인한다.
• 정규화된 학습된 필터의 역함수는 시간이 지남에 따라 감쇠되는 비대칭 정현파 유사 구조를 만들어내며, 웨이블릿 유사 구조를 띠어 CNN 필터와 웨이블릿 간의 유사성을 더욱 뒷받침한다.