[논문 리뷰] MTCRNN: A multi-scale RNN for directed audio texture synthesis

Muhammad Huzaifah, Lonce Wyse|arXiv (Cornell University)|2020. 11. 25.

Music and Audio Processing참고 문헌 11인용 수 6

한 줄 요약

MTCRNN는 다중 척도 순환 신경망을 제안하며, 해석 가능한 제어 파rameter에 따라 계층적인 RNN 타이어를 조절하여 복잡한 텍스처(예: 엔진, 비, 심장박동)를 갖는 장기적이고 사용자 지향적인 오디오 생성을 가능하게 한다. 이로 인해 일반화 능력과 제어 가능성 향상과 함께 더 짧은 훈련 시간과 더 높은 강건성을 확보하였다. 단일 척도 대비 고성능의 합성 성능을 달성하였다.

ABSTRACT

Audio textures are a subset of environmental sounds, often defined as having stable statistical characteristics within an adequately large window of time but may be unstructured locally. They include common everyday sounds such as from rain, wind, and engines. Given that these complex sounds contain patterns on multiple timescales, they are a challenge to model with traditional methods. We introduce a novel modelling approach for textures, combining recurrent neural networks trained at different levels of abstraction with a conditioning strategy that allows for user-directed synthesis. We demonstrate the model's performance on a variety of datasets, examine its performance on various metrics, and discuss some potential applications.

연구 동기 및 목표

• 깊이 학습을 통해 오디오 텍스처(장기적으로 안정적인 통계를 가지지만 국소적으로 변동성이 있는 소리)를 모델링하는 데 도전하는 것.
• 고수준 제어 파rameter(예: rev, fill)를 저수준 오디오 생성에 연결하기 위해 계층적 조건부 설정을 통해 사용자 지향 합성을 가능하게 하는 것.
• 보조 기능(예: RMSE, 온셋 강도)을 중간 조건부 신호로 사용하여 훈련 데이터를 초월한 일반화를 향상시키는 것.
• 엔진 소리, 비, 지게이거 카운터 등 다양한 데이터셋에서 현실적이고 제어 가능한 오디오 텍스처 생성 능력을 입증하는 것.
• 스타일 전이 및 훈련된 파rameter 범위를 초월한 외삽 등 응용 가능성을 탐색하는 것.

제안 방법

• 모델은 서로 다른 시간 척도에서 작동하는 다중 스택된 게이트드 순환 단위(GRU) 타이어를 사용하며, 하위 타이어는 느리게 변화하는 특징을 처리하고 상위 타이어는 원시 오디오 샘플을 생성한다.
• 각 타이어는 이전 타이어의 출력과 오디오 신호에서 유도된 보조 기능(예: MFCC, RMSE, 온셋 강도)에 조건부로 설정된다.
• 제어 파ram터(예: 'rev', 'fill', 'rate')는 중간 조건부 벡터를 생성하여 계층적 합성 과정을 이끈다.
• 모델는 종단 간 방식이 아닌 방식으로 훈련된다: 각 타이어는 각각의 시간 척도에서 독립적으로 훈련되며, 이로 인해 훈련 시간이 단축되고 안정성이 향상된다.
• 아키텍처는 장기적 구조 모델링(상위 타이어를 통해)과 국소 오디오 세부 사항 처리(하위 타이어를 통해)를 분리함으로써 더 나은 제어성과 일반화 능력을 가능하게 한다.
• 다중 척도 조건부 설정 전략을 통해 모델은 청각적 일관성을 유지하면서도 텍스처 특성의 동적 변화를 가능하게 한다.

실험 결과

연구 질문

• RQ1 계층적 RNN 아키텍처와 다중 척도 조건부 설정을 통해 고음질의 장기적 오디오 텍스처를 사용자 지향적으로 생성할 수 있는가?
• RQ2 다중 타이어 조건부 설정은 단일 척도 모델 대비 일반화 능력과 강건성을 어떻게 향상시키는가?
• RQ3 제어 변수(예: 'rate' 또는 'rev')의 훈련 범위를 초월해 얼마나 잘 외삽할 수 있는가?
• RQ4 공유된 조건부 기능을 사용해 한 모델의 장기적 패턴을 다른 모델로 전이함으로써 효과적인 스타일 전이가 가능한가?
• RQ5 해석 가능한 보조 기능(예: RMSE, 온셋 강도)의 사용이 합성 품질과 제어성에 어떻게 기여하는가?

주요 결과

• MTCRNN는 더 단순한 RNN 기반 아키텍처를 사용함에도 불구하고, 단일 척도 Wavenet보다 낮은 Fréchet Audio Distance(FAD)를 기록하여 경쟁적인 샘플 품질을 달성하였다.
• 각 타이어를 독립적으로 훈련함으로써 MTCRNN는 훈련 시간이 크게 단축되었으며, 종단 간 대비 더 적은 파라미터를 사용하였다.
• 생성된 중간 파라미터에 조건부 설정된 경우, FAD가 약간 감소할 뿐 고성능 출력을 유지하여 강력한 일반화 능력을 입증하였다.
• 모델는 훈련된 파라미터 범위를 초월해도 잘 일반화되었다: 예를 들어, 'pop' 데이터셋에서 최대 훈련 속도의 3배까지도 정확한 팝 빈도를 유지하였다.
• 비물리적인 방식으로 제어 파ram터를 조작함으로써, 예를 들어 용기를 '해체'하거나 엔진 가속을 뒤집는 등의 새로운 합성 기능을 가능하게 하였다.
• 스타일 전이 실험을 통해, 지게이거 클릭의 타이밍과 같은 장기적 패턴이 타겟 모델의 훈련 데이터에 존재하지 않더라도 공유된 조건부 기능을 통해 한 모델에서 다른 모델로 전이되는 것을 확인하였다.