[논문 리뷰] Symbolic Music Genre Transfer with CycleGAN

Gino Brunner, Yuyi Wang외 2명|arXiv (Cornell University)|2018. 09. 20.

Music and Audio Processing인용 수 4

한 줄 요약

이 논문은 기존 이미지 스타일 도메인 전이 기법을 음악에 응용하여 멜로디적 구조를 유지하면서 장르 특성을 변환하는 CycleGAN 기반 접근법을 제안한다. 주요 기여는 추가적인 판별기들을 도입하여 구조적 정밀도를 향상시켜 청각적으로도 인지 가능하고 조화로운 장르 전이를 가능하게 한 점이다. 이는 인간 청취자에게도 들리며, 장르 분류기 등을 통한 정량적 측정이 가능한 결과를 낳는다.

ABSTRACT

Deep generative models such as Variational Autoencoders (VAEs) and Generative Adversarial Networks (GANs) have recently been applied to style and domain transfer for images, and in the case of VAEs, music. GAN-based models employing several generators and some form of cycle consistency loss have been among the most successful for image domain transfer. In this paper we apply such a model to symbolic music and show the feasibility of our approach for music genre transfer. Evaluations using separate genre classifiers show that the style transfer works well. In order to improve the fidelity of the transformed music, we add additional discriminators that cause the generators to keep the structure of the original music mostly intact, while still achieving strong genre transfer. Visual and audible results further show the potential of our approach. To the best of our knowledge, this paper represents the first application of GANs to symbolic music domain transfer.

연구 동기 및 목표

• 심벌릭 음악에서 하나의 장르에서 다른 장르로의 딥 네URAL 네트워크 기반 도메인 전이를 가능하게 하기 위해 생성 모델을 사용한다.
• 장르 전이 과정에서 원본 멜로디와 음악의 구조적 통합성을 유지하여 원본 곡의 식별 가능성을 확보한다.
• 보조 판별기를 도입하여 생성기의 정규화를 통해 '음악 다양체'에 머물도록 하여 생성 품질을 향상시킨다.
• GAN 기반 음악 스타일 전이가 인간 청취자에게도 인지 가능하며, 단지 신경망 분류기로만 측정 가능한 것이 아님을 입증한다.
• 향후 음악 생성 및 스타일 전이 연구를 지원하기 위해 코드와 데이터를 포함한 재현 가능한 프레임워크를 제공한다.

제안 방법

• MIDI 표현을 입력으로 사용하여 CycleGAN 아키텍처를 심벌릭 음악에 적응시키며, 음높이를 주요 전환 변수로 삼는다.
• 추가적인 판별기를 도입하여 생성된 음악의 현실성뿐만 아니라 입력의 구조적 유지 여부를 평가한다.
• 사이클 일致성 손실을 적용하여 원본에서 타겟으로의 전환과 그 반대 과정이 일관되게 유지되도록 하여 콘텐츠를 보존한다.
• 분리된 장르 분류기를 사용하여 장르 전이 성공 여부를 정량적으로 평가하며, 모델이 입력을 목표 장르로 맵핑할 능력을 측정한다.
• 적대적 손실, 사이클 일치 손실, 추가 판별기로부터 유도된 지각적 손실을 종합적으로 사용하여 스타일 전이와 구조적 정밀도의 균형을 맞춘다.
• 추가 판별기의 영향력을 조절하는 하이퍼파라미터를 통해 장르 전이 강도와 콘텐츠 보존 간의 트레이드오프를 정밀하게 보정한다.

실험 결과

연구 질문

• RQ1 CycleGAN은 심벌릭 음악 장르 전이에 성공적으로 적용될 수 있는가? 특히 장르 특성을 변환하면서도 구조적 통합성을 유지할 수 있는가?
• RQ2 추가 판별기의 도입은 장르 전이 강도와 원래 음악의 구조 보존 간의 균형에 어떤 영향을 미치는가?
• RQ3 장르 전이 결과는 인간 청취자에 의해 얼마나 잘 인지되는가? 단지 신경망 분류기로만 측정되는 것이 아니라.
• RQ4 다양한 장르 조합(예: 재즈 vs. 클래식, 재즈 vs. 팝)에 대해 모델의 성능은 어떻게 변화하는가?
• RQ5 판별기 추가 등의 아키텍처 수정이 생성 음악의 청각적 품질과 화성 일관성에 어떤 영향을 미치는가?

주요 결과

• 모든 추가 판별기를 포함한 모델(M_full)이 가장 높은 장르 전이 성능를 기록했으며, 클래식-팝 조합에서 총 도메인 전이 점수 58.1%를 기록하여 M_base 및 M_partial를 능가했다.
• 재즈-팝 조합에서 M_full는 팝에서 재즈로의 전이율 49.24%를 기록하여 낮은 총 점수에도 불구하고 효과적인 장르 전이를 보였다.
• 인간 청취자들은 오디오 샘플에서 장르 변화를 인지할 수 있었으며, 이는 전이 결과가 분류기 외에도 인간 귀로 들리게 되었다는 것을 확인한다.
• 판별기의 추가로 인해 구조적 보존이 크게 향상되었으며, M_full는 특히 클래식에서 재즈로의 복잡한 전이에서 M_base보다 더 조화로운 음악을 지속적으로 생성했다.
• 사이클 일치성과 지각적 정규화 덕분에 이질적인 음과 리듬적 불일치가 줄어들어 더 음악적으로 타당한 출력 결과를 낳았다.
• 장르 분류기를 통한 정량적 검증 결과, M_full는 강력한 전이 능력을 보였으며(예: 클래식-팝 조합에서 A→B→A 사이클에서 87.18% 정확도), 특히 전이 성능이 뛰어났다.