[논문 리뷰] Generative Melody Composition with Human-in-the-Loop Bayesian Optimization

Yijun Zhou, Yuki Koyama외 2명|arXiv (Cornell University)|2020. 10. 07.

Music Technology and Sound Studies참고 문헌 17인용 수 8

한 줄 요약

이 논문은 생성적 멜로디 작곡을 위한 인간-중개 베이지안 최적화 시스템을 제안하며, 초보 작곡가들이 AI가 제안한 변형 중에서 선호하는 후보를 반복적으로 선택하여 원하는 멜로디를 효율적으로 탐색할 수 있도록 한다. 이 방법은 선호도 피드백과 부드러운 잠재 공간 탐색을 활용하여 탐색 노력을 줄이며, 시뮬레이션에서는 효과적인 수렴을 보이고, 프로토타입 연구에서는 창의성을 자극한다.

ABSTRACT

Deep generative models allow even novice composers to generate various melodies by sampling latent vectors. However, finding the desired melody is challenging since the latent space is unintuitive and high-dimensional. In this work, we present an interactive system that supports generative melody composition with human-in-the-loop Bayesian optimization (BO). This system takes a mixed-initiative approach; the system generates candidate melodies to evaluate, and the user evaluates them and provides preferential feedback (i.e., picking the best melody among the candidates) to the system. This process is iteratively performed based on BO techniques until the user finds the desired melody. We conducted a pilot study using our prototype system, suggesting the potential of this approach.

연구 동기 및 목표

• 딥 생성 음악 모델에서 고차원적이며 직관적이지 않은 잠재 공간을 탐색하는 데 도전하는 데에 대비하기 위해.
• 원하는 멜로디를 찾기 위해 초보 작곡가가 겪는 인지적 부담과 탐색의 어려움을 줄이기 위해.
• 인간-중개 베이지안 최적화가 최소한의 사용자 피드백으로도 효율적으로 멜로디 탐색을 이끌 수 있는지 조사하기 위해.
• 시스템이 창의성을 자극하고 직관적이고 상호작용적인 음악 작곡을 지원하는 능력을 평가하기 위해.

제안 방법

• 시스템은 사전 훈련된 MusicVAE를 사용하여 멜로디를 부드럽고 연속적인 잠재 공간에 매핑한다.
• 각 반복 단계에서, 시스템은 베이지안 최적화에 의해 정보 수확을 극대화하도록 이끄는 1차원 부분공간을 따라 5개의 후보 멜로디를 샘플링하여 생성한다.
• 사용자는 5개 후보 중에서 선호하는 멜로디를 선택하여 상대적(선호도 기반) 피드백을 제공함으로써 다음 탐색 단계를 안내한다.
• 알고리즘은 확률 모델을 사용하여 잠재 공간에 대한 믿음을 업데이트하며, 사용자의 목표 멜로디가 포함될 가능성이 높은 영역에 집중한다.
• 사용자가 선택한 멜로디를 직접 편집할 수 있도록 하여 제어력을 높이고 반복적인 보완을 지원한다.
• 사용자가 자신의 창의적 의도에 맞는 멜로디를 발견할 때까지 이 과정을 반복한다.

실험 결과

연구 질문

• RQ1 인간-중개 베이지안 최적화는 고차원 잠재 공간에서 초보 작곡가가 원하는 멜로디에 효과적으로 도달하도록 이끌 수 있는가?
• RQ2 최소한의 사용자 피드백으로 시스템이 만족스러운 멜로디에 수렴하기 위해 몇 번의 반복이 필요한가?
• RQ3 시스템은 사용자의 初기 개념을 초월하여 창의적 탐색과 아이디어 생성을 어느 정도 자극하는가?
• RQ4 시스템의 제안 품질은 무작위 또는 히وري스틱 기반 탐색 전략과 비교해 어떻게 되는가?

주요 결과

• 시뮬레이션 실험에서, 시스템은 50회의 반복 동안 목표 멜로디와의 s-DTW 거리를 약 70% 감소시켰으며, 이는 효과적인 수렴을 의미한다.
• 목표 멜로디와의 4차원 잠재 공간 내 유클리드 거리 역시 일관되게 감소하여, 잠재 공간의 부드러움을 확인한다.
• 프로토타입 연구에서는 초보 작곡가들이 평균 2.5시간 이내에 자신의 멜로디를 완성했으며, 검색 기능을 6~8회 사용하여 효율적인 상호작용을 보였다.
• 참가자들은 시스템이 사용자의 초기 아이디어를 초월한 새로운 창의적 아이디어를 자극하는 새로운 변형을 생성했다고 보고했다.
• 사용자들은 창의적 블로킹을 극복하는 데 시스템이 유용하다고 느꼈으며, 한 명은 '멈춰선 순간에 진작에 멈추지 못하게 해줘서 생명을 구해준'다고 말했다.
• 피드백에 따르면, 향후 버전에서 탐색의 공격성에 대한 제어력을 강화하고, 순차적인 음악적 맥락을 더 잘 고려해야 한다.