[논문 리뷰] Source Separation with Deep Generative Priors

Vivek Jayaram, John Thickstun|arXiv (Cornell University)|2020. 02. 19.

Speech and Audio Processing참고 문헌 57인용 수 10

한 줄 요약

이 논문은 단일 혼합 신호에서 가능성이 있는 소스 성분을 추론하기 위해 사전에 훈련된 딥 생성 모델을 사전 확률로 사용하는 베이지안 소스 분리 방법을 제안한다. 노이즈-냉각된 랭드빈 역동법(BASIS)을 활용해 소스의 사후 분포에서 샘플링을 수행함으로써, MNIST에서는 최신 기준 성능을 달성하고, CIFAR-10과 LSUN에서도 강력한 성능을 보이며, 재훈련이 필요 없이 현실적이고 다양한 분리 결과를 반영하는 개선된 평가 지표를 제공한다.

ABSTRACT

Despite substantial progress in signal source separation, results for richly structured data continue to contain perceptible artifacts. In contrast, recent deep generative models can produce authentic samples in a variety of domains that are indistinguishable from samples of the data distribution. This paper introduces a Bayesian approach to source separation that uses generative models as priors over the components of a mixture of sources, and noise-annealed Langevin dynamics to sample from the posterior distribution of sources given a mixture. This decouples the source separation problem from generative modeling, enabling us to directly use cutting-edge generative models as priors. The method achieves state-of-the-art performance for MNIST digit separation. We introduce new methodology for evaluating separation quality on richer datasets, providing quantitative evaluation of separation results on CIFAR-10. We also provide qualitative results on LSUN.

연구 동기 및 목표

• 이미지 및 오디오와 같은 rich하고 구조적인 데이터의 소스 분리에서 눈에 띄는 잔상 문제를 해결하기 위해.
• 사전에 훈련된 생성 모델을 사전 확률로 사용하여 생성 모델링과 소스 분리를 분리하기 위해.
• rich한 데이터 분포에서 모호하고 식별 불가능한 소스 분리에 대해 강력한 평가 프레임워크를 개발하기 위해.
• 결정적 회귀에 의존하는 대신 가능성이 있는 소스 분해에 대한 샘플링 기반 추론을 가능하게 하기 위해.
• 최신 기준 생성 모델을 사용하여 MNIST, CIFAR-10, LSUN을 포함한 다양한 데이터셋에서 이 방법의 효과성을 입증하기 위해.

제안 방법

• 소스 성분에 대한 사전 확률 $p(\mathbf{x})$로 likelihood 기반 딥 생성 모델(예: NCSN 또는 Glow)을 사용한다.
• 관측된 혼합 신호 $\mathbf{m}$에 대한 사후 분포 $p(\mathbf{x}|\mathbf{m})$에서 샘플링하기 위해 노이즈-냉각된 랭드빈 역동법(BASIS)을 적용한다.
• 사후 분포는 베이즈 정리에 의해 정의되며, $p(\mathbf{x}|\mathbf{m}) \propto p(\mathbf{m}|\mathbf{x}) p(\mathbf{x})$로 표현되며, $p(\mathbf{m}|\mathbf{x})$는 선형 혼합 모델 $\mathbf{m} = \sum_{i=1}^k \alpha_i \mathbf{x}_i$에서 유도된다.
• 점차 감소하는 노이즈를 사용한 스코어 기반 샘플링을 통해 사후 분포를 탐색하고 다양한 고품질의 소스 복원을 생성한다.
• 아키텍처 수정 없이 사전에 훈련된 생성 모델을 활용하여 SOTA 모델과 즉시 통합할 수 있도록 한다.
• grayscale 이미지를 색상 채널의 혼합으로 간주하여 동일한 사전 모델을 사용해 색상화 문제로 확장한다.

실험 결과

연구 질문

• RQ1 이미지와 같은 모호하고 고차원적인 데이터에서 깊이 있는 생성 모델을 사전 확률로 사용하여 소스 분리 성능을 향상시킬 수 있는가?
• RQ2 특히 rich한 데이터 분포에서 진짜 성분이 식별 불가능할 경우, 소스 분리를 어떻게 평가할 수 있는가?
• RQ3 노이즈-냉각된 랭드빈 역동법을 통한 샘플링 기반 추론이 결정적 회귀보다 더 현실적이고 다양한 소스 분리를 가능하게 하는가?
• RQ4 분리 성능는 생성 사전 확률의 품질보다 추론 알고리즘의 품질에 더 의존하는가?
• RQ5 동일한 생성 모델이 소스 분리와 이미지 색상화 모두에 사용될 수 있는가? 이는 방법론의 유연성을 보여주는가?

주요 결과

• MNIST에서는 사후 분포에서 샘플링을 통해 최신 기준 성능을 달성하였으며, 그림 1의 주황색으로 강조된 모호한 경우를 포함해 여러 가지 가능성이 있는 분리 결과를 포착하였다.
• CIFAR-10에서는 NCSN을 사전 확률로 사용했을 때, 클래스 무관 설정에서 Inception Score가 8.29 ± 0.16, FID가 22.12를 기록하여 이전 방법들을 능가하였다.
• 색상화 문제에서는 NCSN 기반 분리로 Inception Score가 10.53 ± 0.17, FID가 11.58를 기록하여 실제 CIFAR-10 이미지의 성능(이상: 11.24, FID: 0.00)에 가까워졌다.
• LSUN 분리 결과에서는 분리된 성분의 평균 로그우도가 실제 테스트 이미지와 유사하여, 잔상 원인이 생성 모델에 기인함을 시사하였으며, 분리 알고리즘의 문제는 아님을 나타냈다.
• 이 방법은 아키텍처 수정 최소화로 인해 이미지 분리, 색상화, 다중 카테고리 혼합 등 다양한 데이터 유형에서 일관된 성능을 보였다.
• 제안된 평가 방법론은 rich한 데이터에서 소스의 식별 불가능성을 효과적으로 반영하였으며, 엄격한 진짜 레이블 비교를 넘어서는 데 성공했다.