[논문 리뷰] Conditioned-U-Net: Introducing a Control Mechanism in the U-Net for Multiple Source Separations

Gabriel Meseguer-Brocal, Geoffroy Peeters|arXiv (Cornell University)|2019. 07. 02.

Speech and Audio Processing참고 문헌 19인용 수 36

한 줄 요약

본 논문은 Conditioned-U-Net (C-U-Net)을 제시한다. 단일 U-Net에 FiLM 기반 컨디셔닝을 추가하여 원핫 악기 벡터로 가이드되는 다악기 소스 분리를 수행한다.

ABSTRACT

Data-driven models for audio source separation such as U-Net or Wave-U-Net are usually models dedicated to and specifically trained for a single task, e.g. a particular instrument isolation. Training them for various tasks at once commonly results in worse performances than training them for a single specialized task. In this work, we introduce the Conditioned-U-Net (C-U-Net) which adds a control mechanism to the standard U-Net. The control mechanism allows us to train a unique and generic U-Net to perform the separation of various instruments. The C-U-Net decides the instrument to isolate according to a one-hot-encoding input vector. The input vector is embedded to obtain the parameters that control Feature-wise Linear Modulation (FiLM) layers. FiLM layers modify the U-Net feature maps in order to separate the desired instrument via affine transformations. The C-U-Net performs different instrument separations, all with a single model achieving the same performances as the dedicated ones at a lower cost.

연구 동기 및 목표

• 악기별로 개별 모델을 학습하지 않고 멀티태스크 음악 소스 분리를 추진한다.
• 일반적인 U-Net을 특정 악기를 분리하도록 적응시키는 컨디셔닝 메커니즘을 도입한다.
• FiLM 기반 컨디셔닝(간단한 버전과 복잡한 버전) 및 경량 컨디션 제너레이터를 제안한다.
• MUSDB18에서 파라미터 효율성과 전용 모델에 비해 경쟁력 있는 성능을 입증한다.

제안 방법

• 외부 데이터를 기반으로 특징 맵을 컨디셔닝하기 위해 U-Net 인코더에 FiLM 층을 도입한다.
• gamma와 beta 매개변수를 출력하는 컨디션 제너레이터를 통해 FiLM 컨디셔닝을 가이드하기 위해 원핫 악기 벡터 z를 사용한다.
• FiLM 간단형(shared gamma/beta across feature maps)과 FiLM 복잡형(per-feature-map gamma/beta) 층을 비교한다.
• 컨디션 제너레이터의 임베딩 전략으로 Fully Connected(FC)와 CNN 기반 임베딩의 두 가지를 탐구한다.
• progressive training으로 MUSDB18 데이터셋에서 조건화된 네트워크와 컨디션 제너레이터를 함께 학습한다.
• 크기 스펙트로그램 마스크를 사용해 분리된 소스를 재구성하고 SIR, SAR, SDR을 계산하여 평가한다.

Figure 1 : [Left part] Traditional approach: a dedicated U-Net is trained to separate a specific source. [Right part] Our proposition based on conditioning learning. The problem is divided in two: a standard U-Net (which provides generic source separation filters) and a control mechanism. This divis

실험 결과

연구 질문

• RQ1 단일 조건부 U-Net이 MUSDB18에서 보컬, 드럼, 베이스, Rest에 대해 네 개의 전용 U-Net의 성능에 맞출 수 있는가?
• RQ2 FiLM 간단형과 FiLM 복잡형 층을 사용할 때 다악기 분리 성능에 미치는 영향은 무엇인가?
• RQ3 진행적 학습이 비진행 학습에 비해 C-U-Net의 다태스크 성능을 향상시키는가?
• RQ4 악기 수가 증가할 때 C-U-Net의 파라미터 수와 확장성은 전용 모델과 어떻게 비교되는가?

주요 결과

• C-U-Net은 악기 전반에 걸쳐 전용 Fix-U-Nets와 비등한 성능을 달성하며, FiLM 간단형 층이 복잡형과 동등하게 작동한다.
• 진행적 학습은 성능을 향상시키며, 특히 FiLM 간단 구성에서 그렇다.
• C-U-Nets는 악기 수와 관계없이 고정된 파라미터 수를 유지하여 개별 모델에 비해 상당한 파라미터 효율성을 제공한다.
• C-U-Net과 전용 모델 간의 피어슨 상관계수는 일관되게 높으며(global corr > 0.9, p < 0.001), 작업 및 지표 전반에서 유사한 동작을 나타낸다.
• 보컬, 드럼, 베이스 분리에서 C-U-Net-CoF 변형은 고정 전용 모델과 비슷한 결과를 보이는 반면, Rest는 더 많은 변동성을 보이며 더 폭넓은 악기 조합을 반영한다.

Figure 2 : [Top part] FiLM simple layer applies the same affine transformation to all the input feature maps $x$ . [Bottom part] In the FiLM complex layer, independent affine transformations are applied to each feature map $c$ .