[논문 리뷰] MarbleNet: Deep 1D Time-Channel Separable Convolutional Neural Network for Voice Activity Detection

Fei Jia, Somshubra Majumdar외 1명|arXiv (Cornell University)|2020. 10. 26.

Speech and Audio Processing참고 문헌 30인용 수 5

한 줄 요약

MarbleNet는 시간-채널 분리 합성곱을 사용하여 최신 기술인 CNN-TD 모델 대비 모델 크기를 10배 작게 줄인 경량이며 엔드 투 엔드의 1D 컨볼루션 신경망으로서, 음성 활성 검출(VAD)에 적합하다. 이는 AVA-speech 데이터셋에서 상당히 적은 파라미터 수와 MFLOPs로 최신 기술 성능을 달성하여 모바일 및 웨어러블 기기에서의 효율적 배포를 가능하게 한다.

ABSTRACT

We present MarbleNet, an end-to-end neural network for Voice Activity Detection (VAD). MarbleNet is a deep residual network composed from blocks of 1D time-channel separable convolution, batch-normalization, ReLU and dropout layers. When compared to a state-of-the-art VAD model, MarbleNet is able to achieve similar performance with roughly 1/10-th the parameter cost. We further conduct extensive ablation studies on different training methods and choices of parameters in order to study the robustness of MarbleNet in real-world VAD tasks.

연구 동기 및 목표

• 메모리 및 계산 자원이 제한된 기기, 예를 들어 모바일 및 웨어러블 시스템에 적합한 계산 효율적이고 경량의 VAD 모델을 개발하는 것.
• 1D 시간-채널 분리 합성곱을 활용하여 모델 복잡도를 줄이되 성능을 훼손하지 않는 것.
• 노이즈가 많거나 음악으로 오염된 음성과 같은 다양한 실제 음성 환경에서의 견고성 평가.
• 재현성과 광범위한 도입을 지원하기 위해 사전 학습된 체크포인트를 포함한 오픈소스 학습 및 추론 파ip라인 제공.

제안 방법

• MarbleNet는 1D 시간-채널 분리 합성곱, 배치 정규화, ReLU, 드롭아웃 레이어로 구성된 깊은 잔차 아키텍처를 사용한다.
• 각 블록은 공간적 및 채널별 연산을 분리하는 딥웨이즈 분리 합성곱을 사용하여 파라미터 수를 크게 줄인다.
• 최종 소프트맥스 레이어 이전에 프로로그 레이어(Convol1)와 세 개의 에필로지 레이어(Convol2, Convol3, Convol4)를 포함한다.
• 아키텍처는 QuartzNet과 MatchboxNet을 영감으로 받아, 잔차 블록의 스택과 고정된 채널 차원을 갖는다.
• 완전 컨볼루션 설계 덕분에 다양한 입력 세그먼트 길이를 지원하여 재학습 없이도 짧은 정지 구간을 탐지할 수 있다.
• 학습 시 MFCC 및 멜 스펙트로그램 특징을 사용하며, 노이즈 증강을 통해 실제 환경 조건에 대한 견고성을 향상시킨다.

실험 결과

연구 질문

• RQ1 1D 시간-채널 분리 합성곱 네트워크는 기존 모델 대비 상당히 적은 파라미터로 최신 기술 성능을 달성할 수 있는가?
• RQ2 입력 특징의 선택(MFCC 대비 멜 스펙트로그램)이 청소 및 노이즈가 많은 음성 조건에서 VAD 성능에 어떤 영향을 미치는가?
• RQ3 학습 중 노이즈 증강을 통해 얼마나 일반화 성능이 향상되는가?
• RQ4 예측 스무딩 필터의 오버랩 비율과 세그먼트 길이가 프레임 수준 탐지 정확도에 어떤 영향을 미치는가?

주요 결과

• MFCC 특징을 사용할 경우 AVA-speech 데이터셋에서 FPR=0.315일 때 TPR가 0.85를 기록하며, 노이즈 조건에서 멜 스펙트로그램보다 0.078~0.079 높은 성능을 보였다.
• CNN-TD 기준 모델 대비 파라미터 수를 1/10로 줄인 74K로 유지하면서도 유사한 성능을 달성하여 모델 크기와 계산 비용을 크게 감소시켰다.
• 노이즈 증강을 통해 성능이 향상되어 +Noise 클래스에서 FPR=0.315일 때 TPR가 0.76에서 0.82로 상승하여 견고성이 향상됨을 입증했다.
• 87.5% 오버랩과 중앙값 또는 평균 스무딩 필터를 사용할 경우 all 클래스에서 TPR가 0.879로 상승하여 높은 오버랩이 예측 안정성을 향상시킴을 보여주었다.
• 모든 조건에서 MFCC 특징이 멜 스펙트로그램보다 더 높은 AUROC(0.85 대 0.80)를 기록하여 노이즈 환경에서 VAD에 있어 MFCC의 우월성을 확인했다.
• 모델는 다양한 세그먼트 길이에서 강력한 성능을 유지하며, 짧은 입력을 통해 짧은 정지 구간 탐지가 가능하지만, 정답 레이블의 제약으로 인해 성능 향상이 제한됨을 확인했다.