[논문 리뷰] Dilated Convolution with Dilated GRU for Music Source Separation

Jen-Yu Liu, Yi‐Hsuan Yang|arXiv (Cornell University)|2019. 06. 04.

Speech and Audio Processing참고 문헌 24인용 수 5

한 줄 요약

이 논문은 음악 소스 분리에 적합한 새로운 딥러닝 아키텍처인 D2 블록을 제안한다. 이 아키텍처는 확장된 컨볼루션과 수정된 확장된 GRU를 조합하여 장거리 시계열 의존성을 효과적으로 모델링한다. k단계 이전의 시점에 대한 수신 영역을 통해 순환 단위가 먼 시점의 맥락을 주시할 수 있도록 함으로써, 보컬과 악기 반주를 분리하는 데 있어 최신 기술 수준(SOTA)의 성능을 달성한다. 이는 이전 방법보다 SDR 기준으로 각각 0.25 dB와 0.57 dB 향상된 성능이다.

ABSTRACT

Stacked dilated convolutions used in Wavenet have been shown effective for generating high-quality audios. By replacing pooling/striding with dilation in convolution layers, they can preserve high-resolution information and still reach distant locations. Producing high-resolution predictions is also crucial in music source separation, whose goal is to separate different sound sources while maintaining the quality of the separated sounds. Therefore, this paper investigates using stacked dilated convolutions as the backbone for music source separation. However, while stacked dilated convolutions can reach wider context than standard convolutions, their effective receptive fields are still fixed and may not be wide enough for complex music audio signals. To reach information at remote locations, we propose to combine dilated convolution with a modified version of gated recurrent units (GRU) called the `Dilated GRU' to form a block. A Dilated GRU unit receives information from k steps before instead of the previous step for a fixed k. This modification allows a GRU unit to reach a location with fewer recurrent steps and run faster because it can execute partially in parallel. We show that the proposed model with a stack of such blocks performs equally well or better than the state-of-the-art models for separating vocals and accompaniments.

연구 동기 및 목표

• 장시간 음악 오디오 신호에서 장거리 시계열 의존성을 포괄적으로 포착하는 데 도전하는 것.
• 시퀀스를 단계별로 처리하는 표준 순환 네트워크의 한계로 인한 속도 및 효율성 문제를 개선하는 것.
• 넓은 맥락 수신을 위해 확장된 컨볼루션을 활용하면서도, 수정된 순환 단위를 통합하여 효과적 수신 영역를 추가로 확장하는 것.
• 보컬 및 반주 분리 작업에서 최신 기술 수준의 분리 성능을 달성하면서도 추론 속도를 향상시키는 것.

제안 방법

• 확장된 컨볼루션과 수정된 게이팅 순환 단위(GRU)인 확장된 GRU를 조합한 D2 블록 아키텍처를 제안한다.
• 확장된 GRU는 바로 이전 단계가 아닌 k단계 이전의 은닉 상태를 입력으로 받으며, 이는 더 빠르고 부분적으로 병렬 처리가 가능한 계산을 가능하게 한다.
• 다중 D2 블록을 스택하여 깊은 네트워크를 구성함으로써 시간적 레이어를 거쳐 소스 표현을 점진적으로 정교화한다.
• 입력으로 강도 스펙트로그램을 사용하고, 최종 출력에서 소스별 스펙트로그램을 엔드 투 엔드로 예측하며, 입력에서 최종 출력까지 스위프트 연결을 구현한다.
• 입력이 최종 블록의 출력에 더해지는 잔차 유사 연결을 통해 특징 의미의 안정성을 확보한다.
• 평가를 위해 신호 대 간섭비(SDR) 기반 손실 함수를 사용하여 모델을 엔드 투 엔드로 훈련한다.

실험 결과

연구 질문

• RQ1 확장된 컨볼루션과 수정된 순환 단위를 조합하면 음악 소스 분리에서 장거리 모델링 성능을 향상시킬 수 있는가?
• RQ2 표준 GRU와 비교했을 때 확장된 GRU의 k단계 순환 방식은 추론 속도와 성능에 어떤 영향을 미치는가?
• RQ3 개별 D2 블록이 최종 분리 품질에 기여하는 정도는 어떠하며, 블록을 추가함에 따라 성능은 어떻게 변화하는가?
• RQ4 모델 아키텍처가 레이어 간 소스 표현을 점진적으로 정교화할 수 있는가? 이는 중간 출력에서 관찰될 수 있는가?

주요 결과

• GRU 확장치=1을 적용한 제안된 모델은 보컬에 대해 6.74 dB의 SDR, 반주에 대해 13.25 dB의 SDR를 기록하여 최신 기술 수준 모델보다 각각 0.25 dB, 0.57 dB 향상된 성능을 달성하였다.
• GRU 확장치=2를 적용한 모델은 보컬에 대해 6.74 dB의 SDR, 반주에 대해 13.25 dB의 SDR를 기록하여 최고 성능를 유지하면서도 확장치=1 대비 추론 시간을 20% 감소시켰다.
• 확장치=1일 때 423±4.90 ms에서 확장치=4일 때 327±10.2 ms로 실행 시간이 감소하여 확장치가 증가할수록 뚜렷한 속도 향상이 나타났다.
• D2 블록을 단계적으로 추가함에 따라 분리 성능이 향상되었으며, 보컬의 SDR는 블록이 없을 때 0.82 dB에서 모든 블록이 적용된 경우 6.74 dB로 상승하여 점진적 정교화가 이루어짐을 보였다.
• 웨이브폼 시각화 결과, 블록을 더 추가할수록 보컬과 다른 소스의 활성도가 증가하는 반면 '기타' 소스 활동은 감소함을 확인하여 동적 정보 라우팅가 가능함을 시사했다.
• 모델 성능은 블록 수에 관계없이 높은 안정성을 보였으며, 3개와 4개 블록에서 거의 동일한 결과를 기록하여 3개 블록에서 최적의 능력이 달성됨을 시사했다.