[논문 리뷰] Music Style Transfer Issues: A Position Paper.

Shuqi Dai, Zheng Zhang외 1명|arXiv (Cornell University)|2018. 03. 19.

Music and Audio Processing참고 문헌 31인용 수 18

한 줄 요약

이 논문은 음악의 다중 수준, 다중 모odal 표현 방식이 이미지 데이터와 근본적으로 다르기 때문에 음악 스타일 전이가 과학적 기반을 결여하고 있다고 주장한다. 음악 스타일 전이를 기존 컴퓨터 음악 분야와 연계하고 비지도 디센트링 기법을 활용하여 순수한 엔드 투 엔드 신경망 전이 접근 방식의 한계를 극복함으로써 재정의할 것을 제안한다.

ABSTRACT

Led by the success of neural transfer on visual arts, there has been a rising trend very recently in the effort of transfer. However, music style is not yet a well-defined concept from a scientific point of view. The difficulty lies in the intrinsic multi-level and multi-modal character of representation (which is very different from image representation). As a result, depending on their interpretation of music style, current studies under the category of music are actually solving completely different problems that belong to a variety of sub-fields of Computer Music. Also, a vanilla end-to-end approach, which aims at dealing with all levels of representation at once by directly adopting the method of image transfer, leads to poor results. Thus, we see a vital necessity to re-define transfer more precisely and scientifically based on the uniqueness of representation, as well as to connect different aspects of transfer with existing well-established sub-fields of computer studies. Otherwise, an accumulated upcoming literature (all named after transfer) will lead to a great confusion of the underlying problems as well as negligence of the treasures in computer before the age of deep learning. In addition, we discuss the current limitations of modeling and its future directions by drawing spirit from some deep generative models, especially the ones using unsupervised learning and disentanglement techniques.

연구 동기 및 목표

• 현재 스타일 전이 연구에서 '음악 스타일'에 대한 과학적으로 탄탄한 정의가 부족한 문제를 해결하기 위해.
• 모호한 스타일 정의로 인해 현재 음악 스타일 전이 방법들이 다양한 컴퓨터 음악 하위 분야에서 관련 없는 문제를 해결하고 있음을 밝히기 위해.
• 음악의 복잡한 표현 방식으로 인해 이미지 기반 신경망 전이 방법이 음악에 적용되었을 때 실패하는 이유를 분석하기 위해.
• 음악의 고유한 구조적 및 인지적 수준을 고려해 과학적으로 탄탄한 정의를 바탕으로 스타일 전이를 재정의할 것을 주장하기 위해.
• 스태일 전이 연구를 기존에 잘 정립된 컴퓨터 음악 분야와 연결하여 혼동을 피하고 딥러닝 이전의 통찰을 재발견하기 위해.

제안 방법

• 이미지 스타일 전이 방법을 그대로 적용하기보다는 음악 표현의 내재적 다중 수준 및 다중 모달성에 기반해 음악 스타일 전이를 재정의하는 것을 제안한다.
• 음악 스타일 전이를 오디오 신호 처리, 음악 정보 검색, 심볼릭 음악 생성 등의 기존 컴퓨터 음악 하위 분야와 연계할 것을 권고한다.
• 타임브어, 화성, 리듬 등의 별개의 음악적 특성들을 별도로 모델링하기 위해 비지도 딥 생성 모델과 디센트링 기법을 도입한다.
• 노트 수준, 카드 수준, 구절 수준 등 음악의 추상화 수준에 따라 스타일 구성 요소를 분리하는 계층적 모델링 접근 방식을 제안한다.
• 일반적인 신경망 아키텍처에 의존하기보다는 도메인 특화 지식에 기반한 방법론적 엄밀함을 확보하기 위해 제안한다.
• 해석 가능성과 제어력을 향상시키기 위해 디센트링 표현 학습에서 영감을 얻어 음악 스타일 전이에 적용한다.

실험 결과

연구 질문

• RQ1 다중 수준 및 다중 모달성의 특성을 고려할 때, 과학적으로 엄밀한 방식으로 '음악 스타일'은 무엇으로 정의될 수 있는가?
• RQ2 왜 일반적인 엔드 투 엔드 신경망 전이 방법은 이미지 전이와는 달리 음악에 적용되었을 때 실패하는가?
• RQ3 음악 스타일 전이는 어떻게 기존에 잘 정립된 컴퓨터 음악 하위 분야와 의미 있게 연결될 수 있는가?
• RQ4 비지도 디센트링 기법은 음악 스타일 전이의 해석 가능성과 품질 향상에 어떤 역할을 할 수 있는가?
• RQ5 딥러닝의 부상에 비추어 스타일 전이의 재정의를 통해 분야는 혼동과 이전 지식의 손실을 어떻게 피할 수 있는가?

주요 결과

• 현재 음악 스타일 전이 방법들은 통합되어 있지 않으며, 모호한 스타일 정의로 인해 다양한 컴퓨터 음악 하위 분야에서 별개의 문제를 해결하고 있다.
• 이미지 기반 신경망 전이 방법을 음악에 직접 적용하면 음악의 표현 방식이 이미지와 근본적으로 다르기 때문에 성능이 열 劣하다.
• 음악 스타일에 대한 정확한 정의가 부족함으로써 문헌에 일관성 없고 과학적으로 타당하지 않은 연구 주장이 나타나고 있다.
• 스타일 전이를 기존에 잘 정립된 컴퓨터 음악 분야와 연결함으로써 딥러닝 이전의 유의미한 통찰을 상실하는 것을 방지하고 방법론적 명확성을 향상시킬 수 있다.
• 비지도 디센트링 기법은 별개의 음악적 특성들을 별도로 모델링하는 데 있어 유망한 길을 열어주며, 제어력과 해석 가능성을 향상시킨다.
• 혼란을 피하고 분야의 의미 있는 발전을 확보하기 위해 과학적으로 탄탄한 정의를 바탕으로 한 스타일 전이의 재정의가 필수적이다.