[논문 리뷰] Proceedings of the 18th Sound and Music Computing Conference

Mauro, Davide Andrea, Spagnol, Simone외 1명|arXiv (Cornell University)|2021. 07. 01.

Music Technology and Sound Studies인용 수 4

한 줄 요약

이 논문은 단일 채널의 크기 스펙트로그램에 Phase Gradient Heap Integration (PGHI)를 적용하여 생성적 적대 신경망(GANs)을 훈련시켜 음향 텍스처 합성을 제안한다. 이는 비음고성 및 잡음이 많은 소리(예: 팝, 찌르는 소리 등)에 대해 최신 기술인 IFSpectrogram(크기 + 순간 주파수) 표현 방식보다 뛰어난 성능을 보이며, 음고성 악기의 경우 메모리 사용량을 절반으로 줄이면서도 유사한 품질을 유지한다.

ABSTRACT

Proceedings of the SMC2021 - 18th Sound and Music Computing Conference, June 29th-July 1st 2021.<br> smc2021conference.org

연구 동기 및 목표

• IFSpectrogram 표현 방식이 비음고성 및 잡음이 많은 음향 텍스처를 합성하는 데에 한계가 있음을 해결하고자 한다.
• 크기 스펙트로그램에서 PGHI 기반 단계 복원이 GAN 기반 음향 합성에서 IFSpectrogram보다 우수한 성능을 내는지 평가하고자 한다.
• 다양한 음향 텍스처(음고성, 비음고성, 동적 복잡한 소리 포함)에 적합한 통합적이고 메모리 효율적인 표현 방식을 개발하고자 한다.
• 다양한 신호 유형에서 PGHI 및 IFSpectrogram 기반 GAN 간의 청각적 및 객관적 음향 품질을 비교하고자 한다.

제안 방법

• IFSpectrogram(크기 + 순간 주파수)의 2채널 표현 대신 단일 채널 로그 크기 스펙트로그램에 GAN을 훈련시킨다.
• 시간과 주파수에서의 단계 도함수를 활용하여 크기 스펙트로그램만으로도 시간 도메인 신호를 복원하기 위해 Phase Gradient Heap Integration (PGHI) 알고리즘을 사용한다.
• GAN 프레임워크 내에서 PGHI를 미분 가능하고 반복적이지 않은 단계 복원 방법으로 적용하여 고해상도 음향을 생성한다.
• 조건부 음향 생성을 위해 GANSynth와 유사한 점진적 성장 GAN 아키텍처를 사용한다.
• 다양한 홉 사이즈(64 및 128)에서 听력 테스트와 FAD 지표를 사용하여 청각적 및 객관적 음향 품질을 평가한다.
• 동일한 데이터셋과 모델 아키텍처를 사용하여 최신 기술인 IFSpectrogram 기반 GAN과 결과를 비교한다.

실험 결과

연구 질문

• RQ1 비음고성 및 잡음이 많은 음향 텍스처에 대해, 크기 스펙트로그램에서 PGHI 기반 복원이 IFSpectrogram 기반 합성보다 더 높은 청각적 음향 품질을 제공하는가?
• RQ2 PGHI의 성능는 음고성 악기 소리 합성에서 IFSpectrogram에 비해 어떻게 비교되는가?
• RQ3 단일 채널 크기 스펙트로그램에 PGHI를 적용하면 2채널 IFSpectrogram에 비해 동일하거나 더 나은 결과를 내며 메모리 사용량을 줄일 수 있는가?
• RQ4 더 작은 홉 사이즈로 인해 스펙트로그램의 중복성이 증가하면, PGHI의 성능이 IFSpectrogram에 비해 향상되는가?

주요 결과

• 비음고성 및 복잡한 소리(팝, 찌르는 소리 등)에 대해 PGHI 기반 GAN은 IFSpectrogram 기반 GAN보다 뚜렷한 청각적 품질 향상을 보였으며, 청취자들은 PGHI를 명백히 더 우수한 것으로 평가했다.
• NSynth 데이터셋의 음고성 악기 소리에 대해 PGHI와 IFSpectrogram는 청각적 품질에서 거의 동일한 수준이었으며, 음고성 소리에 대한 성능 저하가 없음을 시사했다.
• FAD 지표 분석 결과, PGHI로 생성된 음향은 IFSpectrogram로 생성된 음향보다 항상 参고 음향에 더 가까웠으며, 팝(홉 사이즈 64일 때 FAD 값 0.295)과 찌르는 소리(홉 사이즈 64일 때 FAD 값 0.747)에서 가장 낮은 FAD 값을 기록했다.
• 홉 사이즈 64일 때 PGHI는 비음고성 및 복잡한 신호에 대해 IFSpectrogram에 비해 더 뚜렷한 청각적 우수성을 보였으며, 이는 더 높은 중복성 덕분에 PGHI의 강인성이 향상되었음을 시사한다.
• PGHI 방법은 음고성 소리에 대해 IFSpectrogram와 동일한 음향 품질을 달성하면서도 입력 표현이 단일 채널이므로 메모리 사용량을 절반으로 줄일 수 있었다.
• 본 연구는 PGHI 기반 크기 스펙트로그램 표현이 다양한 음향 텍스처 합성에 있어 IFSpectrogram보다 더 강인하고 일반적인 표현 방식임을 입증했다.