[논문 리뷰] Time Domain Neural Audio Style Transfer

Parag K. Mital|arXiv (Cornell University)|2017. 11. 29.

Speech and Audio Processing참고 문헌 3인용 수 10

한 줄 요약

이 논문은 위상 재구성을 생략하고 원시 음성 신호를 직접 최적화하는 시간 도메인 신경 음성 스타일 전이 방법을 제안한다. 실험 결과, 3×1 컨볼루션 필터를 사용해 실수부, 허수부, 크기 성분을 연결한 네트워크가 크기 성분 전용 접근 방식보다 노이즈가 감소하고 시간적 세부 정보가 향상된 고음질 스타일 전이를 달성함을 입증한다.

ABSTRACT

A recently published method for audio style transfer has shown how to extend the process of image style transfer to audio. This method synthesizes audio "content" and "style" independently using the magnitudes of a short time Fourier transform, shallow convolutional networks with randomly initialized filters, and iterative phase reconstruction with Griffin-Lim. In this work, we explore whether it is possible to directly optimize a time domain audio signal, removing the process of phase reconstruction and opening up possibilities for real-time applications and higher quality syntheses. We explore a variety of style transfer processes on neural networks that operate directly on time domain audio signals and demonstrate one such network capable of audio stylization.

연구 동기 및 목표

• 직접적인 시간 도메인 음성 신호 최적화가 위상 재구성에 의존하지 않고도 고품질 음성 스타일 전이를 달성할 수 있는지 조사하기.
• DFT 성분, 위상 차이, 사전 학습된 임bedding 등을 포함한 시간 도메인 음성 특징을 처리하는 다양한 신경망 아키텍처를 평가하기.
• 사전 학습된 WaveNet 또는 NSynth 인코더가 효과적인 콘텐츠-스타일 분리 및 스타일 전이를 가능하게 하는지 확인하기.
• Ulyanov 등이 제안한 기존의 크기 기반 접근 방식과 비교해 시간 도메인 스타일 전이의 청각적 및 스펙트럼 품질을 평가하기.

제안 방법

• 신경망을 사용해 DFT의 실수부, 허수부, 크기 성분을 입력 특징으로 사용함으로써 원시 음성 웨이브폼을 직접 최적화하는 방법을 적용한다.
• 실수부, 허수부, 크기 성분을 연결한 특징에 대해 3×1 커널 크기의 컨볼루션 필터를 적용해 시간적 동역학과 위상 정보를 유지한다.
• 콘텐츠 손실은 완전히 연결된 레이어 이전의 특징 활성화를 기반으로 계산되며, 스타일 손실은 비선형성 이후의 크기 성분에 기반한다.
• DFT 성분, 위상 차이, WaveNet 디코더 및 NSynth 인코더의 사전 학습된 네트워크 활성화 등 다양한 입력 표현 방식을 비교한다.
• Griffin-Lim 위상 재구성 과정이 필요 없도록 음성 신호를 엔드 투 엔드로 최적화함으로써 스타일 전이를 수행한다.
• 콘텐츠 손실과 스타일 손실의 조합을 사용해 모델을 훈련하며, 최적화는 청각 유사성과 스펙트럼 정밀도를 목표로 한다.

실험 결과

연구 질문

• RQ1 위상 재구성을 생략하고도 원시 시간 도메인 음성 신호를 직접 최적화할 경우 청각적으로 의미 있는 음성 스타일 전이를 달성할 수 있는가?
• RQ2 실수부/허수부, 크기, 위상 차이 등 시간 도메인 특징 표현 방식 중 어떤 것이 가장 효과적이고 안정적인 스타일 전이를 제공하는가?
• RQ3 WaveNet 디코더나 NSynth 인코더와 같은 사전 학습된 신경망이 시간 도메인 음성 스타일 전이에서 콘텐츠-스타일 분리에 효과적으로 활용될 수 있는가?
• RQ4 시간 도메인 스타일 전이의 청각 품질과 스펙트럼 정밀도는 Ulyanov 등이 제안한 크기 기반 방법과 비교해 어떻게 다른가?

주요 결과

• 3×1 컨볼루션 필터를 사용해 실수부, 허수부, 크기 성분을 연결한 네트워크가 가장 효과적인 스타일 전이를 달성했으며, 높은 정밀도로 콘텐츠와 스타일을 유지했다.
• 이 방법은 Ulyanov의 크기 기반 접근 방식보다 유의미하게 더 적은 노이즈를 생성했으며, 이는 위상 재구성 오류를 피하기 때문일 것이다.
• 스틸라이즈된 출력은 동일한 샘플 레이트임에도 불구하고 저주파수에서 더 빠르고 다이나믹한 시간적 변화를 보였다.
• 인식 가능한 결과를 생성한 구성은 오직 두 가지뿐이었다: 실수부/허수부/크기 성분 네트워크와 크기/언랩드 위상 차이 구성으로, 후자는 더 노이즈가 많았다.
• 사전 학습된 WaveNet 디코더 및 NSynth 인코더 활성화는 의미 있는 스타일 전이를 생성하지 못했으며, 이는 이 작업에 적합하지 않은 특징 표현을 가졌다는 것을 시사한다.