[논문 리뷰] A nuclear-norm based convex formulation for informed source separation

Augustin Lefèvre, François Glineur외 1명|arXiv (Cornell University)|2012. 12. 13.

Speech and Audio Processing인용 수 3

한 줄 요약

이 논문은 원자 스펙트로그램의 저질서 구조를 유도하기 위해 핵노름 페널티를 사용하고, 부분적인 애너테이션을 정확한 제약 조건으로 포함시켜 지식 기반 오디오 소스 분리에 대한 볼록 최적화 설정을 제안한다. 이 방법은 비음성 행렬 분해(NMF)보다 소스 분리 품질(평균 SDR 0.85 dB 향상)과 계산 시간에서 뛰어난 성능을 보이며, SISEC 데이터셋에서 40%의 애너테이션을 사용하여 단순한 서브그래디언트 방법으로도 뛰어난 결과를 달성한다.

ABSTRACT

We study the problem of separating audio sources from a single linear mixture. The goal is to find a decomposition of the single channel spectrogram into a sum of individual contributions associated to a certain number of sources. In this paper, we consider an informed source separation problem in which the input spectrogram is partly annotated. We propose a convex formulation that relies on a nuclear norm penalty to induce low rank for the contributions. We show experimentally that solving this model with a simple subgradient method outperforms a previously introduced nonnegative matrix factorization (NMF) technique, both in terms of source separation quality and computation time.

연구 동기 및 목표

• 부분적인 소스 정보만 제공될 때 단일 채널 오디오 소스 분리 문제를 해결하기 위해.
• 정확한 애너테이션 제약 조건을 강제하면서도 저질서 소스 스펙트로그램을 유도하는 볼록 최적화 프레임워크를 개발하기 위해.
• 비볼록 NMF 기반 접근법에 비해 분리 품질과 계산 효율성 측면에서 향상시키기 위해.
• 통제된 애너테이션을 가진 실제 오디오 데이터에 대해 제안된 방법을 검증하기 위해.

제안 방법

• 소스 스펙트로그램을 변수로 삼고 정확한 애너테이션 제약 조건을 포함하는 볼록 최적화 문제로 소스 분리를 공식화한다.
• 소스 추정치의 정규화를 위해 저질서 구조의 볼록 대체 측정으로 핵노름을 사용한다.
• 부드럽지 않은 목적 함수를 해결하기 위해 감소하는 스텝 크기 규칙을 적용한 서브그래디언트 방법을 사용한다.
• 목적 함수는 혼합물과 재구성된 스펙트로그램 간의 부드러운 Itakura-Saito 분산과 애너테이션된 계수의 데이터 일치성 항을 조합한다.
• NMF와 달리 사전에 질서 수준을 고정하지 않고도 질서 수준을 암묵적으로 최소화할 수 있도록 설계된다.
• 다양한 랜덤 초기화가 필요한 NMF와 달리, 단순하고 확장 가능한 서브그래디언트 기반 해법을 사용하여 문제를 해결한다.

실험 결과

연구 질문

• RQ1 핵노름 정규화를 통한 볼록 설정이 지식 기반 소스 분리에서 비볼록 NMF를 능가할 수 있는가?
• RQ2 정확한 애너테이션 제약 조건을 강제하는 것이 페널티 기반 접근법에 비해 소스 분리 정확도를 향상시키는가?
• RQ3 다중 재시작이 필요한 NMF보다 단순한 서브그래디언트 방법이 더 높은 성능과 더 빠른 수렴을 달성할 수 있는가?
• RQ4 증가하는 애너테이션 비율과 계산 시간에 따라 제안된 방법은 어떻게 스케일링되는가?

주요 결과

• 제안된 lownuc 방법은 SISEC 데이터베이스에서 평균 SDR 8.779 dB를 달성하여 NMF보다 평균 0.85 dB 높은 성능을 보였다.
• lownuc 방법은 '게으른'(lazy) 기준 추정치(3.4725 dB SDR)보다 5 dB 이상 높은 성능을 보이며 상당한 향상을 보였다.
• lownuc 방법은 NMF보다 더 높은 SIR(16.0186 dB)와 SAR(9.9494 dB)를 기록하여 간섭 및 잡음 억제 성능이 뛰어났다.
• lownuc 방법은 10초의 계산 시간이 확보된 이후로도 NMF보다 SDR에서 빠른 수렴을 보이며 성능 향상을 보였다.
• 다양한 재시작이 필요한 NMF에 비해 단순한 서브그래디언트 기반 방법임에도 불구하고, 더 높은 성능을 달성했으며 계산 비용이 더 낮았다.
• 오라클 추정치는 10.8523 dB SDR를 기록하여 lownuc 방법이 이론적 최고 성능에 매우 가까이 도달했음을 보여주었다.