[논문 리뷰] Deep Audio Prior

Yapeng Tian, Chenliang Xu외 1명|arXiv (Cornell University)|2019. 09. 25.

Speech and Audio Processing참고 문헌 50인용 수 6

한 줄 요약

이 논문은 깊이 있는 신경망을 무작위로 초기화한 상태에서 시간적 음성 구조를 활용하여, 훈련 데이터가 전혀 필요 없이 도전적인 음성 작업—예를 들어, 블라인드 소스 분리, 음성 편집, 텍스처 합성—을 해결하는 Deep Audio Prior(DAP)를 소개한다. DAP는 Universal-150 벤치마크에서 최신 기술 수준(SOTA) 성능을 달성하여 다양한 음성 소스에 걸쳐 뛰어난 강건성과 일반화 능력을 입증한다.

ABSTRACT

Deep convolutional neural networks are known to specialize in distilling compact and robust prior from a large amount of data. We are interested in applying deep networks in the absence of training dataset. In this paper, we introduce deep audio prior (DAP) which leverages the structure of a network and the temporal information in a single audio file. Specifically, we demonstrate that a randomly-initialized neural network can be used with carefully designed audio prior to tackle challenging audio problems such as universal blind source separation, interactive audio editing, audio texture synthesis, and audio co-separation. To understand the robustness of the deep audio prior, we construct a benchmark dataset \emph{Universal-150} for universal sound source separation with a diverse set of sources. We show superior audio results than previous work on both qualitative and quantitative evaluations. We also perform thorough ablation study to validate our design choices.

연구 동기 및 목표

• 라벨이 있거나 사전 훈련된 데이터가 전혀 필요 없는 음성 복원 및 조작을 위한 딥 러닝 방법을 개발하는 것.
• 단일 음성 샘플의 시간적 구조를 활용해 무작위로 초기화된 신경망이 음성에 대해 강력한 사전 지식(prior)으로 기능할 수 있는지 탐색하는 것.
• 훈련 데이터가 없는 상황에서 보편적인 블라인드 소스 분리를 해결하여, 음성 공분리(co-separation)와 상호작용형 편집과 같은 애플리케이션을 가능하게 하는 것.
• 새로운 벤치마크를 통해 제안된 방법의 강건성과 일반화 능력을 다양한 음성 소스에 걸쳐 검증하는 것.

제안 방법

• 랜덤으로 초기화된 깊이 컨볼루션 신경망을 사전 지식(prior)으로 사용하며, 그 아키텍처와 학습된 시간적 동역학이 음성 복원을 이끌어낸다.
• 장거리 의존성을 효과적으로 포착하기 위해 신중하게 설계된 네트워크 구조를 통해 시간적 모델링을 통합한다.
• 음성의 내재된 구조와 내용과의 일致성을 강제하는 손실를 최소화하여 음성 복원을 최적화한다.
• 외부 데이터가 필요 없이 청각적 및 스펙트럼적 특성을 유지하는 미분 가능한 손실를 통해 음성 사전 지식을 강화한다.
• 신호의 내부 구조만을 감독으로 사용하여 단일 음성 파일에서 엔드 투 엔드로 프레임워크를 훈련한다.
• 다양하고 실제 세계의 음성 소스를 포함한 보편적인 사운드 소스 분리 성능을 평가하기 위해 새로운 벤치마크인 Universal-150을 구축한다.

실험 결과

연구 질문

• RQ1 무작위로 초기화된 깊이 신경망이 훈련 데이터가 전혀 없이도 음성 복원 및 조작에 강력한 사전 지식으로 기능할 수 있는가?
• RQ2 제공된 쌍화된 데이터나 레이블이 전혀 없는 상황에서 제안된 방법이 단일 혼합 음성 신호에서 여러 음원을 얼마나 효과적으로 분리할 수 있는가?
• RQ3 이 방법이 말하기, 음악, 환경 음향 등 다양한 음성 유형에 얼마나 잘 일반화되는가?
• RQ4 네트워크 아키텍처와 손실 함수의 어떤 설계 선택이 성능과 강건성에 가장 큰 영향을 미치는가?

주요 결과

• 제안된 Deep Audio Prior는 Universal-150 벤치마크에서 이전 최신 기술 수준(SOTA) 방법보다 정량적·정성적 평가 모두에서 뛰어난 성능을 달성한다.
• 이 방법은 레이어별 적응이 전혀 필요 없이도 말하기, 음악, 환경 음향 등 다양한 음성 소스에 걸쳐 강력한 일반화 능력을 보여준다.
• 제거 실험(ablation studies) 결과, 네트워크 아키텍처와 시간 모델링의 조합이 성능에 핵심적임을 확인하였으며, 무작위 초기화만으로는 부족함을 입증한다.
• 이 방법은 단일 음성 샘플만을 입력으로 사용하여 고품질의 보편적인 블라인드 소스 분리, 음성 공분리(co-separation), 상호작용형 음성 편집을 가능하게 한다.