[논문 리뷰] Autoencoder Based Architecture For Fast & Real Time Audio Style Transfer.

D. Roja Ramani, Samarjit Karmakar외 3명|arXiv (Cornell University)|2018. 12. 18.

Speech and Audio Processing참고 문헌 5인용 수 6

한 줄 요약

이 논문은 단일 순방향 전파를 통해 스타일화된 오디오를 생성하는 빠르고 실시간 가능한 오디오 스타일 전이를 위한 새로운 오토인코더 기반 아키텍처를 제안한다. 사전 훈련된 손실 네트워크에서 유도된 내용 손실과 스타일 손실을 사용하여 스펙트로그램에서 변환 네트워크를 훈련시킴으로써, 낮은 계산 비용으로 고품질의 오디오 합성을 달성하며, 반복 최적화 방법보다 속도와 효율성에서 뛰어나면서도 언어적 내용을 유지한다.

ABSTRACT

Recently, there has been great interest in the field of audio style transfer, where a stylized audio is generated by imposing the style of a reference audio on the content of a target audio. We improve on the current approaches which use neural networks to extract the content and the style of the audio signal and propose a new autoencoder based architecture for the task. This network generates a stylized audio for a content audio in a single forward pass. The proposed network architecture proves to be advantageous over the quality of audio produced and the time taken to train the network. The network is experimented on speech signals to confirm the validity of our proposal.

연구 동기 및 목표

• 오디오 스타일 전이에서 느린 반복 최적화 방법의 한계를 해결하기 위해.
• 단일 순방향 전파로 스타일화된 오디오를 생성할 수 있도록 피드포워드 네트워크를 설계하여 실시간 오디오 스타일 전이를 가능하게 하기 위해.
• 기존의 딥러닝 기반 접근법과 비교해 훈련 효율성을 향상시키고 계산 비용을 감소시키기 위해.
• 특정 화자에 속한 스타일 특징(예: 발음, 톤, 억양)을 전이하면서 언어적 내용을 유지하기 위해.

제안 방법

• 모델은 음성 신호의 스펙트로그램에서 내용과 스타일 표현을 학습하기 위해 단일 합성곱 오토인코더를 사용한다.
• 내용 손실은 고수준 활성화에 기반하고, 스타일 손실은 저수준 특징의 그램 행렬에 기반한 사전 훈련된 손실 네트워크를 통해 내용 및 스타일 특징을 추출한다.
• 내용 스펙트로그램을 스타일화된 출력으로 매핑하기 위해 손실 함수를 최소화하는 변환 네트워크를 훈련한다: α × MSE(내용) + β × MSE(스타일).
• 변환 네트워크 훈련 중 손실 네트워크의 가중치는 동결되어 안정적인 특징 추출을 보장한다.
• 스펙트로그램은 STFT 및 로그 크기 스케일링을 사용해 생성되며, 원시 오디오는 Griffin-Lim 알고리즘을 통해 재구성된다.
• 손실 및 변환 네트워크 훈련 모두에 대해 Adam 옵timizer를 사용하며, 특정 하이퍼파라미터(예: 초기 학습률 1e-3, β1=0.999, β2=0.99)를 설정한다.

실험 결과

연구 질문

• RQ1 단일 피드포워드 신경망이 높은 청각적 품질을 갖는 실시간 오디오 스타일 전이를 달성할 수 있는가?
• RQ2 손실 네트워크를 변환 네트워크에서 분리함으로써 훈련 안정성과 성능에 어떤 영향을 미치는가?
• RQ3 화자 특유의 스타일 특징(예: 톤, 발음)을 전이하면서 언어적 내용을 얼마나 잘 유지할 수 있는가?
• RQ4 손실 함수의 하이퍼파라미터 설정(예: 손실 함수의 α 및 β)이 내용과 스타일 충실도 사이의 최적의 트레이드오프를 어떻게 이끌어내는가?

주요 결과

• 제안된 아키텍처는 반복 최적화 방법에 비해 추론 시간을 크게 단축시켜 단일 순방향 전파로 스타일화된 오디오를 생성한다.
• 모델은 입력 오디오의 언어적 내용을 성공적으로 유지하면서도 주요 화자 특유의 스타일 속성(예: 톤, 발음, 억양)을 전이한다.
• 고정된 가중치를 가진 사전 훈련된 손실 네트워크의 사용은 훈련 안정성과 특징 표현 품질을 향상시킨다.
• 스펙트로그램 시각화를 통해 내용의 구조는 유지되고 스타일 텍스처가 전이된 고품질 오디오 합성 결과를 확보했다.
• α = 100 및 β = 10^4 설정에서 손실 함수의 균형이 다양한 테스트 문장에서 최적의 청각적 결과를 도출했다.
• 모델은 단일 GTX 1070 Ti GPU를 사용해 VCTK 코퍼스에서 훈련 및 평가되었으며, 표준 하드웨어 환경에서도 구현 가능함을 입증했다.