[논문 리뷰] Music Style Transfer: A Position Paper

Shuqi Dai, Zheng Zhang외 1명|arXiv (Cornell University)|2018. 03. 19.

Music and Audio Processing참고 문헌 23인용 수 25

한 줄 요약

이 논문은 음악의 다중 수준, 다중 모odal 표현을 바탕으로 음악 스타일 전이를 세 가지 별개의 과제—음색, 연주, 구성 스타일 전이—로 분해하는 구조적 프레임워크를 제안한다. 깊이 있는 생성 모델에서 내용과 스타일을 비지도로 분리하는 것을 주장함으로써, 단순한 이미지 스타일 전이 유사성에서 벗어나 고품질의 종단 간 종단 간 다중 모odal 스타일 전이를 가능하게 한다.

ABSTRACT

Led by the success of neural style transfer on visual arts, there has been a rising trend very recently in the effort of music style transfer. However, "music style" is not yet a well-defined concept from a scientific point of view. The difficulty lies in the intrinsic multi-level and multi-modal character of music representation (which is very different from image representation). As a result, depending on their interpretation of "music style", current studies under the category of "music style transfer", are actually solving completely different problems that belong to a variety of sub-fields of Computer Music. Also, a vanilla end-to-end approach, which aims at dealing with all levels of music representation at once by directly adopting the method of image style transfer, leads to poor results. Thus, we vitally propose a more scientifically-viable definition of music style transfer by breaking it down into precise concepts of timbre style transfer, performance style transfer and composition style transfer, as well as to connect different aspects of music style transfer with existing well-established sub-fields of computer music studies. In addition, we discuss the current limitations of music style modeling and its future directions by drawing spirit from some deep generative models, especially the ones using unsupervised learning and disentanglement techniques.

연구 동기 및 목표

• 음악 스타일 전이의 모호성과 과학적 정의 부족 문제를 해결하기 위해 핵심 하位 문제를 규명하는 것.
• 현존하는 접근 방식이 '음악 스타일'의 잘 정의되지 않은 개념으로 인해 서로 다른 컴퓨터 음악 하위 분야의 문제들을 혼동하고 있음을 명확히 하는 것.
• 기존 컴퓨터 음악 연구와 부합하는 정밀한 다중 수준 분류 체계—음색, 연주, 구성 스타일 전이—를 제안하는 것.
• 고품질의 스타일 전이를 위한 핵심 기반 기술로, 깊이 있는 생성 모델에서 내용과 스타일을 비지도로 분리하는 것을 주장하는 것.
• 미래의 연구를 과학적으로 타당하고 종단 간, 다중 모달 음악 스타일 전이 시스템으로 이끌어내는 것.

제안 방법

• 음악 스타일 전이를 세 가지 별개의 과제로 분해: 음색 스타일 전이(소리 질감 및 악기 품질), 연주 스타일 전이(템포, 다이내믹스, 발음), 구성 스타일 전이(메로디, 화성, 형식).
• 각 스타일 전이 유형을 컴퓨터 음악의 잘 정립된 하위 분야에 대응시킴: 음색은 사운드 합성, 연주는 표현적 연주 모델링, 구성은 알고리즘 작곡.
• 원시 음악 데이터에서 내용과 스타일 요소를 학습하기 위해 비지도 분리 기반의 깊이 있는 생성 모델—특히 VAE와 GAN—사용을 제안.
• 잠재 공간의 분리 기반으로 소스 작품에서 스타일 코드를 추출하고, 다른 작품의 내용 시퀀스에 전달하는 방식을 적용.
• 두 단계 생성 프로세스를 사용: 먼저 소스에서 스타일을 분리하고, 구조적 및 멜로디적 통합성을 유지하는 시퀀스 모델을 통해 내용 시퀀스와 재결합.
• 스타일 전이 중 음악적 일관성을 유지하기 위해 최적화 과정에 템플릿 매칭 또는 구조적 제약 조건을 통합.

실험 결과

연구 질문

• RQ1 다중 수준 및 다중 모달 성격을 고려할 때, '음악 스타일'을 과학적으로 엄밀하게 정의할 수 있는 방법은 무엇인가?
• RQ2 왜 일반적인 종단 간 신경망 스타일 전이 방법은 이미지 스타일 전이와는 달리 음악에 직접 적용될 경우 실패하는가?
• RQ3 기존의 컴퓨터 음악 하위 분야(예: 알고리즘 작곡, 표현적 연주, 사운드 합성)가 음악 스타일 전이의 일관된 프레임워크 아래에서 얼마나 통합될 수 있는가?
• RQ4 분리된 표현 학습이 고품질, 제어 가능한 음악 스타일 전이를 가능하게 하는 데 어떤 역할을 하는가?
• RQ5 현재 음악 모델링의 주요 한계는 무엇이며, 비지도 분리 기법은 이를 어떻게 향상시킬 수 있는가?

주요 결과

• 현존하는 '음악 스타일 전이' 연구들은 '음악 스타일'의 잘 정의되지 않은 개념으로 인해 근본적으로 다른 문제를 해결하고 있어 문헌 내에서 혼란을 빚고 있다.
• 음악은 이미지와 달리 점수, 소리, 연주 제어 등 복잡한 다중 수준 표현을 지닌다 보니, 이미지 기반 신경망 스타일 전이를 음악에 직접 적용하는 것은 실패한다.
• 음색, 연주, 구성 스타일 전이의 세 가지 별개의 범주가 잘 정립된 컴퓨터 음악 분야와 대응되며, 이를 별도로 다뤄야 한다.
• 깊이 있는 생성 모델(예: VAE, GAN)에서의 분리된 표현 학습은 효과적인 스타일 전이를 위해 필수적이며, 내용과 스타일의 자동 분리를 가능하게 한다.
• 초기 구성 스타일 전이 시도는 음악적 구조 및 코드 진행 문법을 충분히 모델링하지 못해 성공률이 낮았으며, 특히 바흐 스타일과 유사한 스타일 외에서는 더욱 그러하다.
• 가장 유망한 방향은 비지도 분리를 통한 종단 간 다중 모달 스타일 전이이며, 이는 수동적인 스타일 레이블링 없이도 영리하고 고품질의 스타일 전이를 가능하게 한다.