[논문 리뷰] On Time-frequency Scattering and Computer Music

Vincent Lostanlen|arXiv (Cornell University)|2018. 10. 10.

Speech and Audio Processing참고 문헌 7인용 수 5

한 줄 요약

이 논문은 시간-주파수 산란을 도입한다. 이는 음악적 현실감을 지닌 음향 텍스처를 수학적으로 엄밀하고 가역적인 방식으로 표현하는 것으로, 무지크 콩크레트의 청각적 현실감과 일렉트로니카 음악의 구성 유연성을 결합한다. 시간-주파수 웨이브렛 변환을 연쇄적으로 적용하고 모듈러스 비선형성을 도입함으로써 에너지 보존 조건(긴 프레임 조건)을 확보함으로써, 수치적 산란 계수 표를 통해 복잡한 听각 인식을 충실하게 재구성할 수 있게 되었으며, 이는 실제 소리에서 전자 스코어로의 순환을 효과적으로 달성한다.

ABSTRACT

Time-frequency scattering is a mathematical transformation of sound waves. Its core purpose is to mimick the way the human auditory system extracts information from its environment. In the context of improving the artificial intelligence of sounds, it has found succesful applications in automatic speech transcription as well as the recognition of urban sounds and musical sounds. In this article, we show that time-frequency scattering can also be useful for applications in contemporary music creations.

연구 동기 및 목표

• 무지크 콩크레트의 정밀성과 일렉트로니카 음악의 표현적 자유를 계산적 음향 설계에서 조화시키는 것.
• 다양한 척도에서 스펙트로템포럴 변조를 포착하는 수학적으로 타당하고 가역적인 음향 표현을 개발하는 것.
• 신경생리학적 청각 처리 모델(STRF)과 컴퓨터 음악 구성에 실용적인 도구를 연결하는 것.
• 원본 웨이브폼에 접근하지 않고도 산란 계수만으로도 복잡한 청각 텍스처를 재구성할 수 있도록 하는 것.
• 청각적으로 의미 있는 차원이 없는 산란 계수를 통해 음향 텍스처를 표현하고 조작하기 위한 공식적 프레임워크를 제공하는 것.

제안 방법

• 로그래식 해상도 $2^{\nu}$ 로 조절된 모레트 웨이브렛을 사용하여 시간-주파수 도메인으로 시간 산란을 확장함으로써, 웨이브렛 모듈러스 연산의 연쇄 구조를 형성한다.
• 이중층 산란 네트워크를 적용함: 먼저 시간에서의 변조(시간적 변조), 그 다음 주파수에서의 변조(스펙트럼 변조), 경로 $p = (\nu_1, \nu_2, \nu_1::\nu_1)$.
• 필터뱅크에 긴 프레임 조건을 적용함: $1 - \varepsilon \lesssim \widehat{\phi}(\omega::v_r)^2 + \frac{1}{2}\sum_{\gamma::v_r} |\widehat{\psi}_{\gamma::v_r}|^2(\omega::v_r) \lesssim 1$, 이는 층 간 에너지 보존을 보장한다.
• 산란 계수를 차원이 없는 양으로 표현하여 백만 분율(ppm) 단위로 변환함으로써 청각 에너지 분포에 직접적인 매핑을 가능하게 한다.
• Waldspurger(2016)의 가역성 정리에 따라, 무한한 깊이의 극한에서 원본 신호가 산란 계수로부터 재구성될 수 있음을 보장한다.
• 산란 계수의 표 형태 표현을 활용하여 원본 웨이브폼을 저장하지 않고도 음악적 인식(예: FAVN)을 인코딩한다.

실험 결과

연구 질문

• RQ1 시간-주파수 산란 표현은 무지크 콩크레트와 같은 복잡한 음향 텍스처의 청각적 구조를 충실하게 인코딩할 수 있는가?
• RQ2 생물학적으로 영감을 받은 청각 모델(STRF)을 어떻게 가역적이고 컴퓨터 음악에서 활용 가능한 방식으로 만들 수 있는가?
• RQ3 산란 계수의 수치적 표만으로 원본 음향 경험을 어느 정도 재구성할 수 있는가?
• RQ4 에너지 보존과 가역성을 유지하면서도 시간적 및 주파수적 변조를 모두 포함하는 산란 변환을 일반화할 수 있는가?
• RQ5 청각적 양자화와 표 형태 조직이 수학적 구조를 기반으로 한 새로운 음악적 구성 양식을 가능하게 하는 역할은 무엇인가?

주요 결과

• 시간-주파수 산란 변환은 긴 프레임 조건 덕분에 모든 층에서 에너지를 보존하며, 전체 산란 표현의 총 에너지가 원본 신호 $\mathbf{U}_0(t)$ 와 동일하다.
• 산란 계수 $\mathbf{U}_m(t, \lambda)$ 는 차원이 없고 0에서 1 사이로 제한되며, 백만 분율(ppm) 단위로 스케일링되어 청각 에너지의 정밀한 수치적 인코딩이 가능하다.
• Waldspurger의 증명에 따르면, $m \to \infty$ 의 극한에서 표현이 가역적이며, 원본 웨이브폼이 산란 계수로부터 완벽하게 재구성될 수 있다.
• 이 방법은 원본 오디오에 접근하지 않고도 산란 계수 표만으로도 음악적 소리(예: FAVN)를 소니피케이션할 수 있게 하여, 완전한 재구성 능력을 입증한다.
• 산란 경로 $p = (\nu_1, \nu_2, \nu_1::\nu_1)$ 는 직접적으로 청각적으로 의미 있는 특징을 나타낸다: 음향 주파수(20 Hz – 20 kHz), 시간적 변조 속도(1 Hz – 1 kHz), 주파수 스펙트럼 변조 척도(cyc/옥타브).
• 스토케스틱 샘플링과 유한한 계산 자원에도 불구하고 재구성된 소리는 원본에 매우 가까운 근사치를 보이며, 이는 프레임워크의 강건성과 청각적 정밀성을 입증한다.