[논문 리뷰] Improving DNN-based Music Source Separation using Phase Features

Joachim Muth, Stefan Uhlich외 4명|arXiv (Cornell University)|2018. 07. 07.

Speech and Audio Processing참고 문헌 13인용 수 12

한 줄 요약

이 논문은 단일 시간-주파수 프레임에서의 진폭과 위상 특징을 동시에 활용하는 새로운 딥 네ural 네트워크(DNN) 아키텍처를 제안한다. 이는 짧은 시간 푸리에 변환(STFT)에서 유도된 위상 특징을 활용하여 음악 소스 분리 성능을 향상시킨다. 원시 위상 대신 위상의 시간 및 주파수 도함수를 입력 특징으로 사용하고, 진폭과 위상에 대해 별도로 처리하는 이중 브랜치 네트워크 아키텍처를 적용함으로써, DSD100 데이터셋에서 베이스에 대해 신호 대 간섭비(SDR)가 6.17% 향상되었으며, 모든 악기에서 일관된 성능 향상이 관찰되었다.

ABSTRACT

Music source separation with deep neural networks typically relies only on amplitude features. In this paper we show that additional phase features can improve the separation performance. Using the theoretical relationship between STFT phase and amplitude, we conjecture that derivatives of the phase are a good feature representation opposed to the raw phase. We verify this conjecture experimentally and propose a new DNN architecture which combines amplitude and phase. This joint approach achieves a better signal-to distortion ratio on the DSD100 dataset for all instruments compared to a network that uses only amplitude features. Especially, the bass instrument benefits from the phase information.

연구 동기 및 목표

• STFT 내 위상 정보가 진폭 전용 모델을 초월하여 딥 러닝 기반 음악 소스 분리 성능을 향상시킬 수 있는지 조사하기.
• 원시 위상 입력을 초월하여 DNN 성능을 향상시키는 효과적인 위상 표현 방식을 규명하기.
• 진폭에 대한 편향 없이 진폭과 위상 특징을 효과적으로 융합할 수 있는 신경망 아키텍처를 설계하기.
• 제안된 방법이 DSD100 기준 벤치마크 데이터셋에서 검증되어 다양한 악기 간 성능 향상 정도를 정량화하기.

제안 방법

• 저자들은 이론적 관계에 기반하여, 특히 순간 주파수(시간 도함수)와 군 지연(주파수 도함수)를 위상 특징으로 사용한다.
• 이산 STFT에 의해 유도되는 체계적 위상 이동을 보정하는 사전 처리 단계를 도입하여 특징의 일관성과 네트워크 학습 효율성을 향상시킨다.
• 이중 브랜치 DNN 아키텍처를 제안한다: 하나의 브랜치는 진폭 특징을 처리하고, 다른 브랜치는 사전 처리된 위상 도함수를 처리하며, 각 브랜치는 500개의 뉴런을 가진 두 개의 완전 연결층을 사용한다.
• 두 브랜치의 출력을 연결하여 최종 밀도층을 통과시키며, ReLU 활성화 함수를 적용하여 목표 악기의 진폭을 예측한다.
• 학습 중에는 주파수 빈 마다 배치 기반 평균과 표준편차를 이용한 특징 정규화를 수행하며, 시간적 맥락으로서 5프레임을 유지한다.
• 모델은 평균 제곱오차 손실을 사용하여 엔드 투 엔드로 학습되며, 추정된 진폭과 혼합 위상에서 복원된 시간 도메인 신호를 위해 역 STFT가 사용된다.

실험 결과

연구 질문

• RQ1 STFT에서 유도된 위상 특징이 진폭 전용 모델을 초월하여 DNN 기반 음악 소스 분리 성능을 향상시킬 수 있는가?
• RQ2 원시 STFT 위상은 DNN에 적합한 입력인가, 유도된 위상 표현(예: 도함수)이 더 나은 성능을 낼 수 있는가?
• RQ3 진폭과 위상 특징을 DNN에서 효과적으로 융합할 수 있는 방법은 무엇인가, 진폭에 대한 지배를 방지하고 위상 정보가 의미 있게 기여하도록 할 수 있는가?
• RQ4 이산 STFT에 의해 유도되는 위상 이동을 보정함으로써 모델 성능에 어떤 영향을 미치는가?
• RQ5 제안된 방법이 DSD100 기준 벤치마크에서 다양한 악기 간 신호 대 간섭비(SDR) 향상에 측정 가능한 영향을 미치는가?

주요 결과

• STFT 위상의 시간 및 주파수 도함수를 특징으로 사용할 경우, 학습 효율이 떨어져 자주 무시되는 원시 위상 입력보다 DNN 성능이 크게 향상된다.
• 제안된 이중 브랜치 네트워크 아키텍처는 진폭과 위상 특징을 효과적으로 융합하여, 네트워크가 위상 정보를 간과하지 않도록 한다.
• 이산 STFT에 의해 유도되는 위상 이동을 보정함으로써 보다 일관되고 학습 가능한 위상 표현이 가능해져 모델 성능이 향상된다.
• DSD100 테스트 세트에서 제안된 방법은 베이스에 대해 0.2 dB의 SDR 향상을 기록했으며(3.44 dB 대비 3.24 dB), 이는 진폭 전용 기준 모델 대비 6.17%의 상대적 향상이다.
• 모든 악기에서 측정 가능한 SDR 향상이 관찰되었으며, 드럼(+0.64%)은 0.03 dB, 기타(+3.11%)는 0.11 dB, 보컬(+0.84%)은 0.04 dB 향상되었으며, 전반적으로 일관된 성능 향상이 확인되었다.
• 청각 평가 결과, 향상된 분리 성능는 특히 베이스에 대해 더 선명하고 명확한 악기 분리 효과를 제공함을 확인하였다.