[논문 리뷰] Audio Texture Synthesis with Scattering Moments

Joan Bruna, Stéphane Mallat|arXiv (Cornell University)|2013. 11. 02.

Speech and Audio Processing참고 문헌 4인용 수 33

한 줄 요약

이 논문은 반복적인 복소 웨이브렛 변환과 절댓값 연산에서 유도된 통계적 표현인 산산화 모멘텀을 사용한 음성 텍스처 합성 방법을 제안한다. 단일 음성 신호로부터 이러한 모멘트를 추정하고, 기울기 하강법을 통해 목표 모멘트와 일치하도록 합성 신호를 최적화함으로써, 기존 최첨단 방법보다 훨씬 적은 402개의 계수로도 고해상도의 텍스처 합성을 달성하며, 비정규 분포의 순간적 변동과 변조를 유지한다.

ABSTRACT

We introduce an audio texture synthesis algorithm based on scattering moments. A scattering transform is computed by iteratively decomposing a signal with complex wavelet filter banks and computing their amplitude envelop. Scattering moments provide general representations of stationary processes computed as expected values of scattering coefficients. They are estimated with low variance estimators from single realizations. Audio signals having prescribed scattering moments are synthesized with a gradient descent algorithms. Audio synthesis examples show that scattering representation provide good synthesis of audio textures with much fewer coefficients than the state of the art.

연구 동기 및 목표

• 산산화 모멘트를 사용하여 컴팩트하고 청각적으로 정확한 음성 텍스처 표현을 개발하기 위해.
• 음성 신호의 비정규 분포 특성을 캡처하는 데에 제한을 받는 2차 통계량의 문제를 해결하기 위해.
• 기존 방법들에 비해 음성 텍스처 합성에 필요한 계수의 수를 줄이기 위해.
• 순발력 있는 음성 텍스처 합성을 가능하게 하기 위해 순발력 및 진폭 변조 구조를 유지하기 위해.
• 산산화 모멘트가 텍스처 합성에 대해 일관되고 정보적인 기술자임을 검증하기 위해.

제안 방법

• 반복적인 복소 웨이브렛 변환과 절댓값 연산을 통해 다중 척도의 진폭 및 주파수 변조를 추출하기 위해 산산화 변환을 계산한다.
• 웨이브렛 계수 진폭의 기대값으로서 산산화 모멘트를 추정하며, 단일 신호 실현에서의 저분산 추정기법을 사용한다.
• 1차 및 2차 산산화 모멘트(Q1=4, Q2=1)를 사용하여 컴팩트한 기술자로 활용하며, 총 402개의 계수로 합성한다.
• 목표 산산화 모멘트와 합성 산산화 모멘트 간의 차이를 최소화하기 위해 Levenberg-Marquardt 알고리즘을 사용한 기울기 하강법을 적용한다.
• 주파수 산산화 모멘트(Q1=1)를 통합하여 주파수 대역 간의 진폭 변조 동기화를 향상시킨다.
• 산산화 계수의 차이를 바탕으로 한 비선형 최소 제곱 목적 함수를 최소화함으로써 합성 과정을 최적화한다.

실험 결과

연구 질문

• RQ1 산산화 모멘트는 비정규 분포 특성을 캡처하는 데에 효과적인 컴팩트한 정보 기술자로 기능할 수 있는가?
• RQ2 2차 산산화 모멘트를 포함함으로써 1차 모멘트에 비해 합성 음성의 청각적 품질은 어떻게 향상되는가?
• RQ3 기존 방법들에 비해 산산화 모멘트는 고품질 음성 텍스처 합성에 필요한 계수의 수를 얼마나 줄일 수 있는가?
• RQ4 주파수 산산화 모멘트는 백색 및 충격성 텍스처(예: 박수 소리 또는 불꽃 튀기는 불꽃 소리)의 합성에 어떻게 기여하는가?
• RQ5 동일한 텍스처의 다양한 실현 간에 산산화 표현이 일관된가? 이는 단일 학습 신호로부터 신뢰할 수 있는 합성을 가능하게 하는가?

주요 결과

• 1차 산산화 모멘트만을 사용한 합성은 가우시안 과정과 유사한 신호를 생성하며, 망치로 때리는 소리나 박수 소리 같은 순발력을 포착하지 못한다.
• 2차 산산화 모멘트를 포함시킴으로써 임펄스적이고 비정규 분포 특성을 띠는 현상들(예: 임펄스 잭햄머, 종이를 흔드는 소리 등)의 정확한 합성이 가능해진다.
• 총 402개의 계수(1차 모멘트 46개, 2차 모멘트 266개, 주파수 모멘트 92개)를 사용한 전체 표현은 청각적으로 높은 품질의 재구성을 달성한다.
• 주파수 산산화 모멘트를 추가함(Q1=1, +120개의 계수)으로써 주파수 대역 간의 진폭 변조 동기화가 향상되어 현실적인 순발력 재현에 필수적인 요소가 된다.
• Levenberg-Marquardt 알고리즘이 20~40회 반복 내에 상대적 근사 오차 10−2 및 10−4를 달성하며 수렴한다.
• 단일 실현에서 안정적이고 저분산 추정기법을 제공함으로써 산산화 모멘트는 고차 모멘트 기반 방법보다 우수한 성능을 보이며, 강력한 합성 능력을 확보한다.