[논문 리뷰] Kapre: On-GPU Audio Preprocessing Layers for a Quick Implementation of Deep Neural Network Models with Keras

Keunwoo Choi, Deokjin Joo외 1명|arXiv (Cornell University)|2017. 06. 19.

Music and Audio Processing참고 문헌 4인용 수 57

한 줄 요약

Kapre은 음악/오디오 작업에서 딥러닝 워크플로우를 간소화하기 위해 Mel-spectrogram, 정규화, 노이즈 등의 on-GPU 오디오 전처리 계층을 Keras에 제공합니다. 벤치마크는 대략 20%의 추가 학습 시간이 소요되지만 저장 및 프로토타이핑 이점을 보인다.

ABSTRACT

We introduce Kapre, Keras layers for audio and music signal preprocessing. Music research using deep neural networks requires a heavy and tedious preprocessing stage, for which audio processing parameters are often ignored in parameter optimisation. To solve this problem, Kapre implements time-frequency conversions, normalisation, and data augmentation as Keras layers. We report simple benchmark results, showing real-time on-GPU preprocessing adds a reasonable amount of computation.

연구 동기 및 목표

• Keras 내에서 on-GPU 오디오 전처리를 촉진하고 가능하게 하여 오디오 모델 프로토타이핑을 단순화하고 속도를 높인다.
• 학습 가능한 Keras 계층으로 미분 가능한 시-주파수 표현 및 관련 전처리(멜-스펙트로그램, 정규화)를 구현한다.
• 대규모 모델의 트레이닝에서 on-GPU 오디오 전처리의 계산 오버헤드를 평가하여 트레이드오프를 이해한다.

제안 방법

• 시간-주파수 변환을 Keras 계층으로 구현(DFT 커널로 초기화된 2D 합성곱을 통한 스펙트로그램).
• 스펙트로그램을 학습 가능한 멜-스케일 행렬로 확장하여 멜-스펙트로그램으로 확장한다.
• 주파수, 시간, 채널, 데이터, 배치별로 데이터를 정규화하는 Normalization2D를 제공한다.
• mel/log/linear 스케일에 대해 구성 가능하고 무작위 초기화가 가능한 Filterbank 계층을 포함한다.
• 학습 가능한 또는 임의화 가능한 노이즈 증가 이득으로 데이터 증강을 위한 AdditiveNoise를 추가한다(훈련 시 적용).
• 간단한 CNN에서의 통합을 시연하고 Kapre 전처리 여부에 따른 학습 시간 벤치마크를 수행한다.

실험 결과

연구 질문

• RQ1 Kapre의 on-GPU 오디오 전처리 계층이 Keras에서 오디오 모델에 대해 빠르고 저장 효율적인 파이프라인을 제공할 수 있을까?
• RQ2 훈련 중 Kapre 전처리의 경험적 추가 계산 오버헤드는 얼마이며, 모델 크기에 따라 어떻게 확장되는가?

주요 결과

• Kapre은 Mel-스펙트로그램, 정규화, 가우시안 노이즈를 학습 가능한 계층으로 포함하여 Keras에서 엔드투엔드 전처리를 가능하게 한다.
• 5-레이어 CNN 실험에서, on-GPU 전처리는 전처리 없이 학습하는 경우에 비해 대략 20%의 학습 시간을 추가했다.
• 실험은 30초 단일 채널 신호(32 kHz)와 오버헤드를 평가하기 위한 작은 네트워크(157,336 파라미터)를 사용했다.
• 제안된 방식은 미리 계산된 스펙트로그램을 피함으로써 신속한 프로토타이핑과 저장 공간 절감의 가능성을 지원한다.
• Kapre는 대형 네트워크에서도 전처리가 학습 다이내믹에 대한 최소한의 방해로 통합될 수 있음을 보여준다.