[논문 리뷰] Audio Transport: A Generalized Portamento via Optimal Transport

Trevor Henderson, Justin Solomon|arXiv (Cornell University)|2019. 06. 16.

Music Technology and Sound Studies참고 문헌 21인용 수 8

한 줄 요약

이 논문은 임의의 두 오디오 신호 간에 음정 유사 전환을 생성하는 실시간 오디오 효과인 오디오 트랜스포트를 소개한다. 이는 1차원 최적 운반 문제를 해결하여 한 신호의 음고를 다른 신호의 음고에 매핑함으로써 이루어지며, 단순한 음정 효과를 넘어서 단음성 및 다음성 음색 간의 매끄럽고 음악적으로 직관적인 전환을 가능하게 한다. 다양한 입력에 대해 최소한의 잡음으로도 높은 품질의 결과를 제공한다.

ABSTRACT

This paper proposes a new method to interpolate between two audio signals. As an interpolation parameter is changed, the pitches in one signal slide to the pitches in the other, producing a portamento, or musical glide. The assignment of pitches in one sound to pitches in the other is accomplished by solving a 1-dimensional optimal transport problem. In addition, we introduce several techniques that preserve the audio fidelity over this highly non-linear transformation. A portamento is a natural way for a musician to transition between notes, but traditionally it has only been possible for instruments with a continuously variable pitch like the human voice or the violin. Audio transport extends the portamento to any instrument, even polyphonic ones. Moreover, the effect can be used to transition between different instruments, groups of instruments, or really any transient-less audio signals. The audio transport effect operates in real-time; we open-source implementation is provided. In experiments with sinusoidal inputs, the interpolating effect is indistinguishable from ideal sine sweeps. In general, the effect produces clear, musical results for a wide variety of inputs.

연구 동기 및 목표

• 임의의 오디오 신호 간에 표현적이고 음정 유사 전환을 가능하게 하는 실시간 오디오 효과를 개발함으로써, 기존 연속 음고 악기에서 넘어서는 음악적 스위치 전환을 가능하게 하기.
• 매우 비선형적인 보간 중에도 음질과 음악성을 유지하는 방식으로 한 신호의 음고를 다른 신호의 음고에 매핑하는 문제를 해결하기.
• 최적 운반 이론을 오디오 합성에 처음으로 적용하여 단일 보간 매개변수를 통해 자동으로 파arameterized 보간을 가능하게 하고 직관적인 제어를 제공하기.
• 특히 복잡하거나 대조적인 톤 간의 스펙트럼 보간에서 발생하는 볼륨 감소 및 위상 왜곡 등의 잡음을 해결하기.
• 기존의 피치 벤드나 포지션 바이브레이터 방법의 한계를 넘어 다음성 및 비단음성 신호에서도 작동할 수 있도록 효과를 확장하기.

제안 방법

• 이 방법은 1차원 최적 운반을 사용하여 원천 신호의 주파수 성분을 목표 신호의 대응 성분에 매핑하는 이동 지도를 계산하며, 이는 워샤우르-2 거리의 최소화를 기반으로 한다.
• 운반 이전에 청각적으로 의미 있는 성분들로 스펙트럼을 분할하기 위해 시간-주파수 재할당을 적용함으로써 정렬을 향상시키고 잡음을 줄인다.
• 분석 윈도우를 넘어 위상 누적이 연장되어 보간 중 위상 연속성을 유지하고 위상 왜곡을 방지한다.
• 수정된 단기 푸리에 변환(STFT)을 사용해 시간-주파수 도메인에서 보간을 수행하며, 운반 매핑된 스펙트럼을 바탕으로 진폭과 위상을 재합성한다.
• 핵심 혁신은 원천 및 목표 스펙트럼을 최적 운반 지도를 통해 혼합하는 데 사용되는 단일 보간 매개변수 k ∈ [0,1]의 사용이다.
• 복잡한 신호를 자동으로 처리할 수 있도록 수동적인 피치 추적을 피하고, 스펙트럼 에너지 분포와 운반 기반 할당에 의존한다.

실험 결과

연구 질문

• RQ1 최적 운반을 사용해 임의의 오디오 신호 간에 자동으로 음악적으로 일관된 음정 효과를 생성할 수 있는가? 특히 다음성 및 톤이 뚜렷한 음색 간의 전환도 포함하여.
• RQ2 매우 비선형적인 스펙트럼 보간 중에도 음질을 유지하고 청각적 잡음을 최소화하기 위해 최적 운반을 어떻게 적응시킬 수 있는가?
• RQ3 시간-주파수 재할당은 운반 기반 오디오 보간의 청각적 품질을 향상시키는 데 어떤 역할을 하는가?
• RQ4 한 주파수 성분이 목표 신호에서 넓은 주파수 범위에 매핑될 경우 발생하는 스펙트럼 에너지 상쇄 및 볼륨 감소 현상은 어떻게 다루는가?
• RQ5 이 효과는 저지연으로 실시간으로 작동할 수 있으며, 라이브 공연 및 상호작용 음악 시스템에서 활용 가능할까?

주요 결과

• 오디오 트랜스포트 효과는 정현파 입력의 경우 이상적인 정현파 스위프와 청각적으로 구별되지 않는 매끄럽고 음악적인 음정 전환을 생성한다.
• 단음성 및 다음성 음색, 다양한 악기, 심지어 전체 곡까지 포함한 다양한 오디오 입력에 대해 명확하고 잡음 없는, 음악적으로 일관된 결과를 제공한다.
• 원천 신호의 한 주파수 성분이 목표 신호에서 넓은 주파수 범위에 매핑될 경우, 특히 두 신호의 스펙트럼 복잡도가 크게 다를 경우 볼륨 감소가 발생한다.
• FFT 해상도의 한계로 인해 주파수 전환 시 '계단형' 잡음이 발생할 수는 있으나, 이는 시간-주파수 스케일이 매우 작아 听각 테스트에서 들리지 않는다.
• 하이햇과 같은 투과성 신호는 스펙트럼 스메어링으로 인해 흐릿해지며, 투과성이 존재할 경우 직접 비교에서 원본 신호가 출력보다 항상 선호된다.
• 이 효과는 실시간으로 작동하며 MIDI 또는 기타 제어 소스를 통해 제어 가능하여 라이브 공연 통합과 피드백 기반 사운드 디자인을 가능하게 한다.