[논문 리뷰] Sound texture synthesis using convolutional neural networks

Hugo Caracalla, Axel Röebel|arXiv (Cornell University)|2019. 05. 09.

Music and Audio Processing참고 문헌 10인용 수 9

한 줄 요약

이 논문은 시간 도메인에서 신호를 최적화하여 타겟 텍스처의 특징 맵 간 시간적 상관관계를 일치시킴으로써, 2차원 합성곱 신경망(CNN)을 사용한 새로운 파rametric 음향 텍스처 합성 방법을 제안한다. 이 방법은 위상 복원을 피하기 위해 시간 도메인에서 직접 작동함으로써, 각 텍스처에 맞는 초기화 하이퍼파ram터 조정 없이도 다양한 텍스처—특히 특수한 사건을 포함한 텍스처—의 고품질 합성을 가능하게 한다.

ABSTRACT

The following article introduces a new parametric synthesis algorithm for sound textures inspired by existing methods used for visual textures. Using a 2D Convolutional Neural Network (CNN), a sound signal is modified until the temporal cross-correlations of the feature maps of its log-spectrogram resemble those of a target texture. We show that the resulting synthesized sound signal is both different from the original and of high quality, while being able to reproduce singular events appearing in the original. This process is performed in the time domain, discarding the harmful phase recovery step which usually concludes synthesis performed in the time-frequency domain. It is also straightforward and flexible, as it does not require any fine tuning between several losses when synthesizing diverse sound textures. A way of extending the synthesis in order to produce a sound of any length is also presented, after which synthesized spectrograms and sound signals are showcased. We also discuss on the choice of CNN, on border effects in our synthesized signals and on possible ways of modifying the algorithm in order to improve its current long computation time.

연구 동기 및 목표

• 정적 및 비정적 텍스처, 특히 특수한 전경 사건을 포함한 텍스처를 재현할 수 있는 유연하고 파arametric인 음향 텍스처 합성 방법을 개발하기 위해.
• 물리 기반 또는 그레인 기반 합성과 같은 기존 방법의 한계를 극복하기 위해 딥 러닝을 활용하여 더 넓은 적용 범위와 더 높은 청각적 품질을 확보하기 위해.
• 시간 도메인에서 직접 최적화를 수행함으로써 위상 복원이 필요 없도록 하여 안정성과 합성 파이프라인의 단순화를 향상시키기 위해.
• 각 텍스처에 맞는 하이퍼파aram터 조정 없이도 장기적인 합성과 파aram터 조작이 가능하도록 하기 위해.
• 계산 비용이 높고 신호 경계에 발생하는 아티팩트 문제를 아키텍처 및 표현 수준의 개선을 통해 해결하기 위해.

제안 방법

• 해당 방법은 타겟 음향 텍스처의 로그 스펙트로그램에서 특징 맵을 추출하기 위해 2D CNN을 사용하며, 이 특징 맵 간의 시간적 상관관계를 파arametric 기술자로 계산한다.
• 랜덤으로 초기화된 시간 도메인 신호를 경사 하강법을 반복적으로 적용하여 최적화함으로써, 합성된 신호의 특징 맵 상관관계와 타겟의 상관관계 간 차이를 최소화한다.
• 최적화는 시간 도메인에서 직접 수행되며, 일반적으로 시간-주파수 도메인 합성에서 요구되는 위상 복원 과정을 생략한다.
• 모든 새로운 텍스처에 대해 미세조정이 필요 없도록, 무작위로 초기화된 미학습 필터를 사용하여 다양한 텍스처에 대한 유연성을 유지한다.
• 원래 신호 길이를 초월해 최적화 과정을 연장함으로써 장기적인 합성을 구현하며, 시간적 일관성을 유지한다.
• 경계 효과는 출력의 처음과 끝 부분을 잘라내어 완화되며, 아티팩트가 국소화되어 내부로 갈수록 급격히 감소하기 때문이다.

실험 결과

연구 질문

• RQ1 CNN 특징 맵 간 시간적 상관관계가 일반적인 파arametric 음향 텍스처 합성에 효과적인 기술자로 작용할 수 있는가?
• RQ2 이러한 기술자를 사용해 시간 도메인에서 최적화를 수행할 경우, 위상 복원 없이도 고품질이고 청각적으로 타당한 텍스처를 생성할 수 있는가?
• RQ3 이 방법은 배경의 무작위 사건과 구별 가능한 전경 사건을 모두 포함한 텍스처를 합성할 수 있는가?
• RQ4 이 방법을 어떻게 확장하여 인위적으로 긴 음향 텍스처를 생성하면서도 청각적 품질을 유지할 수 있는가?
• RQ5 어떤 아키텍처 및 표현 선택이 계산 시간을 줄이되 합성 품질을 떨어뜨리지 않도록 할 수 있는가?

주요 결과

• 이 방법은 바람, 비, 새우울, 불꽃 등 다양한 카테고리의 고품질 음향 텍스처를 성공적으로 합성하였으며, 특히 전경 사건이 뚜렷한 경우에도 효과를 발휘한다.
• 합성된 신호는 원본과 청각적으로 구별되지만 핵심적인 텍스처 특성을 유지하여 재합성의 목표를 달성한다.
• 모든 텍스처에 대해 하이퍼파aram터 조정이 필요 없어, 다양한 텍스처 유형 간에 간편하고도 매우 민감한 적용이 가능하다.
• 경계 아티팩트는 합성 신호의 시작과 끝에 나타나며, 가장 큰 필터 크기(27프레임) 정도의 지속 시간을 가지지만 국소화되어 있고, 잘라내기로 제거 가능하다.
• 계산 시간은 여전히 높은 편이지만(단일 GPU에서 12초 음성에 약 1시간), 파aram터 텐서를 서브샘플링하여 약 16M 파aram터에서 ~100M로 줄임으로써 감소 가능하다.
• 로그 스펙트로그램에서 멀리 떨어진 사건 간의 상관관계를 재현하는 데는 제한된 능력을 보이며, 이는 장거리 시간적 모델링의 한계를 시사한다.