[논문 리뷰] Neural Style Transfer for Audio Spectograms

Prateek Verma, Julius O. Smith|arXiv (Cornell University)|2018. 01. 04.

Music and Audio Processing참고 문헌 2인용 수 34

한 줄 요약

이 논문은 음성 스펙트로그램에 대한 신경망 스타일 전이 기법을 도입하여, 사전 훈련된 CNN에서의 콘텐츠 및 스타일 특징을 최적화하여 노이즈 입력을 조정함으로써 영상 스타일 전이 기법을 음성에 적용한다. 이 방법은 단일 손실 함수에 콘텐츠, 스타일, 에너지 포락선 항목을 포함하여 대역폭 압축 및 확장, 악기 및 목소리 간의 톤 색채 전이를 구현한다.

ABSTRACT

There has been fascinating work on creating artistic transformations of images by Gatys. This was revolutionary in how we can in some sense alter the 'style' of an image while generally preserving its 'content'. In our work, we present a method for creating new sounds using a similar approach, treating it as a style-transfer problem, starting from a random-noise input signal and iteratively using back-propagation to optimize the sound to conform to filter-outputs from a pre-trained neural architecture of interest. For demonstration, we investigate two different tasks, resulting in bandwidth expansion/compression, and timbral transfer from singing voice to musical instruments. A feature of our method is that a single architecture can generate these different audio-style-transfer types using the same set of parameters which otherwise require different complex hand-tuned diverse signal processing pipelines.

연구 동기 및 목표

• 이미지 처리에서 개발된 신경망 스타일 전이 기법을 음성 스펙트로그램으로 확장하여 창의적 사운드 생성을 가능하게 하기.
• 한 사운드에서 다른 사운드로 톤 색채 및 스펙트럼 특성을 전이하면서도 음성 콘텐츠를 유지하는 도전 과제 해결.
• 복잡한 수작업으로 조정된 신호 처리 파ip라인을 대체할 수 있는 단일 파rameterized 프레임워크 개발.
• 심층 신경망의 특징 활성화가 무작위 노이즈에서 청각적으로 타당한 음성을 합성하는 데 지침이 될 수 있는지 조사하기.
• 에너지 포락선 및 스펙트럼 포락선 제약 조건이 생성된 음성의 청각적 품질에 미치는 영향 탐구.

제안 방법

• 콘텐츠, 스타일, 에너지 기반 손실을 포함하는 총 손실 함수를 최소화하기 위해 백프로파게이션을 사용해 무작위 노이즈 입력 스펙트로그램을 최적화한다.
• 80개의 악기 클래스에서 훈련된 AudioSet 데이터셋을 기반으로, 3×3 컨볼루션과 2×2 풀링을 적용한 수정된 6층의 AlexNet을 사용한다.
• 콘텐츠 오디오(예: 하프 또는 목소리)의 활성화 패턴을 일치시키기 위해 CNN의 중간 레이어에서 콘텐츠 특징을 추출한다.
• Gatys 등이 제안한 영상 방법과 유사하게, 선택된 컨볼루션 레이어의 특징 맵의 그램 행렬을 사용해 스타일 손실을 계산한다.
• 스타일 오디오의 시간적 에너지 포락선과 주파수 에너지 포락선(톤 색채 포락선)을 일치시키기 위해 추가 손실 항목 $L_e$와 $L_t$를 포함한다.
• 최적화된 크기 스펙트로그램으로부터 Griffin-Lim 알고리즘을 사용해 최종 스펙트로그램을 재구성함으로써 완벽한 단계 복원을 보장한다.

실험 결과

연구 질문

• RQ1 이미지 처리에서 사용되는 신경망 스타일 전이 기법이 음성 스펙트로그램에 효과적으로 적용되어 사운드 합성에 활용될 수 있는가?
• RQ2 동일한 파rameter 세트를 사용해 하나의 심층 신경망 아키텍처가 다양한 음성 변형(예: 대역폭 압축 및 확장)을 얼마나 잘 생성할 수 있는가?
• RQ3 에너지 포락선 및 스펙트럼 포락선 제약 조건이 스타일 전이에서 생성된 음성의 청각적 품질에 어떤 영향을 미치는가?
• RQ4 그램 행렬만으로는 음성 스타일의 필요한 청각적 특징을 충분히 포괄할 수 있는가, 아니면 추가 손실 항목이 필요한가?
• RQ5 사전 훈련된 CNN을 통한 특징 기반 최적화만으로도 무작위 노이즈에서 고품질의 청각적으로 타당한 음성을 생성할 수 있는가?

주요 결과

• 테이핑 포크의 스타일을 하프에 전이함으로써 대역폭 압축된 사운드를 성공적으로 생성했으며, 이는 단일 주파수 톤을 생성했다.
• 바이올린의 스타일을 노래하는 목소리에 전이함으로써 고조성 분량을 증가시키고 스펙트럼 내용을 풍부하게 하여 대역폭 확장을 달성했다.
• 에너지 포락선 손실($L_e$)과 톤 색채 포락선 손실($L_t$)을 포함시킴으로써 청각적 품질이 크게 향상되었으며, 그램 행렬만으로는 시간적 동적 특성을 유지하지 못했다.
• 통합 손실 함수 덕분에 동일한 네트워크와 최적화 설정을 사용해 톤 색채 전이와 스펙트럼 조작을 동시에 수행할 수 있었으며, 작업별 신호 처리 파이프라인의 필요성을 제거했다.
• Griffin-Lim 알고리즘을 통해 재구성된 스펙트로그램은 청각적으로 명확하고 일관된 결과를 생성했으며, 이는 본 방법의 타당성을 입증한다.
• 콘텐츠 및 스타일 입력만 조정함으로써 재훈련이나 파rameter 재구성 없이도 다양한 음성 변형을 생성할 수 있는 유연성을 보였다.