[논문 리뷰] Interleaved Multitask Learning for Audio Source Separation with Independent Databases

Clement S. J. Doire, Olumide Okubadejo|arXiv (Cornell University)|2019. 08. 14.

Speech and Audio Processing참고 문헌 26인용 수 4

한 줄 요약

이 논문은 공유 인코더와 임의의 디코더를 사용하는 교차 다중작업 학습 프레임워크를 제안하여, 모든 소스가 모든 혼합물에 포함되어 있지 않은 독립 데이터베이스에서도 훈련이 가능하도록 한다. 이 방법은 50퍼센트 적은 파라미터로 독립적으로 훈련된 모델과 유사한 성능을 달성하면서 추론 효율성을 향상시키며, 새로운 소스 유형에 대한 이식 가능한 표현을 가능하게 한다.

ABSTRACT

Deep Neural Network-based source separation methods usually train independent models to optimize for the separation of individual sources. Although this can lead to good performance for well-defined targets, it can also be computationally expensive. The multitask alternative of a single network jointly optimizing for all targets simultaneously usually requires the availability of all target sources for each input. This requirement hampers the ability to create large training databases. In this paper, we present a model that decomposes the learnable parameters into a shared parametric model (encoder) and independent components (decoders) specific to each source. We propose an interleaved training procedure that optimizes the sub-task decoders independently and thus does not require each sample to possess a ground truth for all of its composing sources. Experimental results on MUSDB18 with the proposed method show comparable performance to independently trained models, with less trainable parameters, more efficient inference, and an encoder transferable to future target objectives. The results also show that using the proposed interleaved training procedure leads to better Source-to-Interference energy ratios when compared to the simultaneous optimization of all training objectives, even when all composing sources are available.

연구 동기 및 목표

• 음성원 분리에서 각 음성원에 대해 별도의 딥 네트워크를 훈련시키는 데서 발생하는 계산적 과제와 데이터 정제 문제를 해결하기 위해.
• 모든 목표 소스가 매 훈련 혼합물에 존재할 필요 없이도 효과적인 다중작업 학습을 가능하게 하기 위해.
• 높은 분리 품질을 유지하면서 모델 파라미터를 줄이고 추론 효율성을 향상시키기 위해.
• 공유 인코더가 새로운 음성원 분리 작업(예: 기타, 피아노)으로의 이식 가능성 탐색을 위해.
• 교차 훈련이 동시에 다중작업 최적화보다 음성원 분리 품질 측면에서 뛰어나지 못할지 조사하기 위해.

제안 방법

• 모델은 혼합 오디오에서 공통 특징을 추출하기 위해 공유 인코더를 사용하고, 각 소스(예: 보컬, 드럼, 베이스)에 맞게 특화된 독립적인 디코더를 사용한다.
• 네트워크는 교차 절차를 통해 훈련된다: 하위 작업 디코더들이 동시에가 아니라 순차적으로 최적화되어, 각 샘플에 하나의 참조 소스만 포함된 독립 데이터베이스에서의 훈련을 가능하게 한다.
• 교차 훈련 절차는 인코더와 다른 디코더를 고정한 채로 각 디코더를 번갈아가며 업데이트함으로써 기울기 간섭을 줄이고 최적화 안정성을 향상시킨다.
• 누적되지 않은 교차 훈련 버전을 사용하여 확률적 성격을 유지하고 누적 변형에서 발생하는 기울기 방향 정규화 문제를 피한다.
• 공유 인코더는 고해상도 레이어에서 특징 맵 수를 늘림으로써 용량을 증가시키는 방식으로 미세조정된다(Encoder+). 이는 디코더 파라미터 수를 늘리지 않고도 성능 향상을 가능하게 한다.
• 구조는 U-Net 유사한 CNN 기반으로 스케일 연결과 다중 대역 처리를 포함하며, 1차원 오디오 스펙트로그램에 적합하게 조정되었다.

실험 결과

연구 질문

• RQ1 공유 인코더 아키텍처와 작업별 디코더를 사용하는 모델이 독립적으로 훈련된 모델과 유사한 성능을 달성할 수 있는가?
• RQ2 모든 소스가 이용 가능한 상황에서, 독립 데이터베이스에서 교차 훈련이 동시에 다중작업 최적화를 능가하는가?
• RQ3 교차 최적화로 훈련된 공유 인코더가 새로운 음성원 분리 작업으로 효과적으로 이식 가능한가?
• RQ4 인코더의 용량을 늘리는 것(더 넓은 레이어)이 독립적으로 훈련된 모델 대비 성능에 어떤 영향을 미치는가?
• RQ5 교차 훈련 절차가 공유 아키텍처에서 모델 용량이 감소함에 따라 발생하는 성능 저하를 완화하는가?

주요 결과

• 제안된 교차 훈련 절차는 독립적으로 훈련된 모델과 유사한 SIR 점수를 달성하며, 누적되지 않은 버전이 확률적 성격을 유지함으로써 누적 변형보다 뛰어난 성능을 보였다.
• 약 350만 개의 파라미터를 가진 공유 인코더 모델이 약 800만 개의 파라미터를 가진 네 개의 독립적으로 훈련된 네트워크와 동등한 SDR 및 SIR 성능을 달성했다.
• 고해상도 레이어에서 인코더의 너비를 늘리는 것(Encoder+)은 모든 타겟에서 SDR 및 SIR 점수 향상에 기여했으며, 드럼, 베이스 및 기타 소스의 SIR 점수는 독립적으로 훈련된 모델을 초월했다.
• Encoder+ 버전은 드럼(7.43 dB 대 7.25 dB), 베이스(4.37 dB 대 3.8 dB), 기타 소스(2.25 dB 대 2.04 dB)에서 독립적으로 훈련된 모델보다 높은 SIR 점수를 기록했으며, 보컬에서는 약간의 성능 저하(9.28 dB 대 9.35 dB)를 보였다.
• 공유 인코더 표현은 이식 가능하며 기타나 피아노와 같은 새로운 음성원 분리 작업에 효과적인 초기화로 활용될 수 있다.
• 이 방법은 소스 간 데이터 오버랩이 없는 독립 데이터베이스를 사용할 수 있도록 하여, 혼합물의 전체 소스 레이블이 필요 없이 훈련 데이터의 잠재력을 크게 확장한다.