[논문 리뷰] Wavelet Scattering on the Pitch Spiral

Vincent Lostanlen, Stéphane Mallat|arXiv (Cornell University)|2016. 01. 03.

Image and Signal Denoising Methods참고 문헌 10인용 수 14

한 줄 요약

이 논문은 파장 나선( pitch spiral)을 활용하여 음정과 스펙트럼 에너지의 동적 변화를 선형화하는 웨이블릿 기반 표현인 나선 산산화 변환(spiral scattering transform)을 소개한다. 로그 주파수를 옥타브 인덱스와 함께 나선 형태로 구부려, 조화 음에서 음정과 음색의 변화를 안정적이고 분리된 표현으로 구현한다. 비정상적인 조화 신호에 대해는 폐쇄형 근사식이 존재한다.

ABSTRACT

We present a new representation of harmonic sounds that linearizes the dynamics of pitch and spectral envelope, while remaining stable to deformations in the time-frequency plane. It is an instance of the scattering transform, a generic operator which cascades wavelet convolutions and modulus nonlinearities. It is derived from the pitch spiral, in that convolutions are successively performed in time, log-frequency, and octave index. We give a closed-form approximation of spiral scattering coefficients for a nonstationary generalization of the harmonic source-filter model.

연구 동기 및 목표

• 검출 또는 학습 없이 시간에 따라 변화하는 조화 음의 구조를 표현하는 데 도전한다.
• MFCC나 CQT와 같은 기존 방법은 시간-주파수 변형 하에서 전역적인 조화 정규성을 포착하지 못하므로 이를 극복한다.
• 파장 나선 기하학을 활용하여 옥타브 간 조화 부분파를 정렬함으로써, 시간-주파수 평면에서 숨겨진 정규성을 드러낸다.
• 시간에 따라 변화하는 음정과 스펙트럼 에너지 조절을 선형화하면서도 소규모 변형에 대한 불변성을 유지하는 산산화 변환을 개발한다.
• 음정($\theta(t)$)과 스펙트럼 에너지($\eta(t)$)에 시간 왜곡이 있는 비정상적 소스-필터 모델에 대해 산산화 계수의 폐쇄형 근사를 제공한다.

제안 방법

• 옥타브 간격이 전체 회전에 해당하도록 로그 주파수를 나선 다양체로 매핑함으로써 파장 나선을 정의한다. 이는 조화 부분파를 반경선을 따라 정렬하는 데 기여한다.
• 세 단계의 웨이블릿 산산화 변환을 구성한다: 첫째, 신호를 시간 국소화 웨이블릿과 컨볼루션하고, 그 결과에 절댓값을 적용한다. 둘째, 결과를 크로마(로그 주파수) 방향의 웨이블릿과 컨볼루션한다. 셋째, 옥타브 인덱스를 따라 웨이블릿과 컨볼루션한다.
• 일정-Q 성질을 가진 웨이블릿을 사용하여 스케일 간 주파수 해상도를 유지함으로써 소규모 시간 왜곡에 안정성을 확보한다.
• 각 컨볼루션 이후 복소 절댓값을 적용하여 비선형성을 도입하고 변형에 대한 안정성을 향상시킨다.
• 비정상적 소스-필터 모델에 시간 왜곡이 있는 경우, 나선 산산화 계수의 폐쇄형 근사를 유도한다. 이때 음정($\theta(t)$)과 스펙트럼 에너지($\eta(t)$)에 시간 왜곡이 존재한다.
• 유도된 계수들이 음정 변화($\ddot{\theta}/\dot{\theta}$)와 스펙트럼 에너지 변화($\ddot{\eta}/\dot{\eta}$)의 동적 특성을 분리함을 보여주며, 웨이블릿 응답의 푸리에 분석을 통해 순순간 주파수를 캡처한다.

실험 결과

연구 질문

• RQ1 조화 음을 어떻게 표현할 수 있을까? 이는 시간에 따라 변화하는 음정과 스펙트럼 에너지의 동적 변화를 선형화하는 데 목적이 있다.
• RQ2 표준 시간-주파수 표현에서 비정상적으로 보이는 조화 신호에서 파장 나선 기하학을 활용해 정규성을 복원할 수 있는가?
• RQ3 비브라토나 글리스산도와 같은 시간-주파수 변형에 대해 나선 산산화 변환은 어느 정도 안정성을 유지하는가?
• RQ4 비정상적 소스-필터 모델에 시간 왜곡이 있을 경우, 나선 산산화 계수에 대해 폐쇄형 표현식을 도출할 수 있는가?
• RQ5 산산화 표현에서 음정과 스펙트럼 에너지 조절은 어떻게 분리되는가?

주요 결과

• 나선 산산화 변환은 파장 나선의 기하학적 구조를 활용하여 조화 음에서 음정과 스펙트럼 에너지의 동적 변화를 성공적으로 선형화한다.
• 일정-Q 웨이블릿 성질과 절댓값 비선형성 덕분에 소규모 시간 왜곡(예: 비브라토, 트레몰로)에 대해 안정성을 확보한다.
• 비정상적 소스-필터 모델에 대해 나선 산산화 계수의 폐쇄형 근사는 식 (21)에 의해 주어지며, 이는 음정과 음색 조절의 기여도를 분리한다.
• 음정 변화의 순순간 주파수는 $-\beta \ddot{\theta}(t)/\dot{\theta}(t)$로 캡처되며, 스펙트럼 에너지 변화의 순순간 주파수는 $-\gamma \ddot{\eta}(t)/\dot{\eta}(t)$로 캡처되어 분리가 가능하다.
• 그림 3은 나선 산산화 계수가 트럼본 신호에서 공격기(음정과 밝기가 증가)와 해제기(음정과 밝기가 감소) 단계를 명확히 구분함을 보여주며, 계수 공간의 특정 영역에 에너지가 집중되어 있음을 나타낸다.