[논문 리뷰] AI song contest: Human-AI co-creation in songwriting

Cheng-Zhi Anna Huang, Hendrik Vincent Koops외 3명|arXiv (Cornell University)|2020. 10. 11.

Music Technology and Sound Studies참고 문헌 51인용 수 15

한 줄 요약

이 논문은 13개의 뮤지션/개발자 팀(총 61명의 사용자)을 대상으로 한 인공지능과의 공동 창작을 통해 음악 작곡에서의 인간-AI 협업을 조사하며, 성공적인 협업은 모듈러한 AI 워크플로우, 광범위한 샘플 셀렉션, 그리고 적응형 모델 관리에 의존한다는 점을 밝혀냈다. 주요 기여는 예술적 표현을 향상시키기 위해 더 분해 가능하고 조정 가능하며 해석 가능하고 적응 가능한 AI 음악 인터페이스를 위한 설계 수요를 규명한 것이다.

ABSTRACT

Machine learning is challenging the way we make music. Although research in deep generative models has dramatically improved the capability and fluency of music models, recent work has shown that it can be challenging for humans to partner with this new class of algorithms. In this paper, we present findings on what 13 musician/developer teams, a total of 61 users, needed when co-creating a song with AI, the challenges they faced, and how they leveraged and repurposed existing characteristics of AI to overcome some of these challenges. Many teams adopted modular approaches, such as independently running multiple smaller models that align with the musical building blocks of a song, before re-combining their results. As ML models are not easily steerable, teams also generated massive numbers of samples and curated them post-hoc, or used a range of strategies to direct the generation or algorithmically ranked the samples. Ultimately, teams not only had to manage the ``flare and focus'' aspects of the creative process, but also juggle that with a parallel process of exploring and curating multiple ML models and outputs. These findings reflect a need to design machine learning-powered music interfaces that are more decomposable, steerable, interpretable, and adaptive, which in return will enable artists to more effectively explore how AI can extend their personal expression.

연구 동기 및 목표

• 기계 학습 모델과 함께 음악을 공동 창작할 때 뮤지션과 개발자가 겪는 도전 과제와 전략을 이해하기 위해.
• 사용자가 창작 워크플로우를 지원하기 위해 AI 모델의 특성을 어떻게 적응하고 재사용하는지 파악하기 위해.
• 예술적 표현을 더 잘 지원하기 위해 모듈성, 해석 가능성, 조정 가능성에 초점을 맞춘 AI 음악 인터페이스의 설계 요구사항을 밝혀내기 위해.
• 창작적 '화려함과 집중'의 상호작용과 다양한 AI 모델 및 출력을 탐색하는 기술적 탐색 간의 상호작용을 검토하기 위해.

제안 방법

• 13개의 뮤지션/개발자 팀을 대상으로 한 질적 연구를 수행하였으며, 총 61명의 참가자가 AI 지원 음악 창작에 참여하였다.
• 팀들이 음악적 구성 요소(예: 멜로디, 가사, 화성)에 맞춰 작동하는 여러 작은 AI 모델을 사용하는 모듈러한 접근 방식을 관찰하였다.
• 제한된 모델 조정 가능성으로 인해 팀들이 대량의 AI 샘플을 생성하고, 후행적으로 샘플을 선별하는 방식을 따르는 방식을 추적하였다.
• 생성 방향을 조절하고 출력을 알고리즘적으로 순위 매기는 전략을 분석하여 관련성과 품질을 향상시키는 데 초점을 맞췄다.
• 창작적 탐색과 기술적 모델 평가를 모두 관리하는 데서 패턴을 파악하기 위해 사용자 워크플로우를 매핑하였다.

실험 결과

연구 질문

• RQ1 인간-AI 팀은 음악 창작에서 창작적 탐색과 집중적 보완의 균형을 어떻게 관리하는가?
• RQ2 현재 기계 학습 음악 모델의 제한된 조정 가능성으로 인해 사용자가 어떤 전략을 채택하는가?
• RQ3 팀들은 음악 구성 요소에 맞추어 여러 AI 모델을 어떻게 구성하고 통합하는가?
• RQ4 후행적 샘플 선별이 최종 음악 출력을 어떻게 형성하는가?
• RQ5 효과적인 인간-AI 공동 창작을 지원하기 위해 AI 음악 인터페이스에 필수적인 설계 특성은 무엇인가?

주요 결과

• 많은 팀들이 분리된 음악적 요소(예: 가사, 멜로디, 화성)를 위한 별도의 AI 모델을 사용하는 모듈러 워크플로우를 채택하였다.
• 모델의 조정 가능성에 한계가 있어 팀들은 대량의 샘플을 생성하고, 높은 품질의 출력을 선택하기 위해 수동 또는 알고리즘 기반의 선별에 크게 의존하였다.
• 사용자들은 끊임없이 여러 모델과 출력을 동시에 다루며, 이 복잡성을 관리하기 위한 더 나은 도구의 필요성을 보여주었다.
• 창작 과정은 '화려함'(탐색)과 '집중'(보완)의 균형을 유지해야 했으며, 이는 다양한 AI 생성 옵션을 탐색하고 평가해야 하는 요구로 인해 더욱 복잡해졌다.
• 팀들은 모델의 기존 특성을 창의적으로 재사용하여, 예상치 않은 작업에 모델을 재사용함으로써 기술적 한계를 극복하였다.
• 연구 결과는 아티스트의 개인적 표현을 지원하기 위해 더 분해 가능하고 조정 가능하며 해석 가능하고 적응 가능한 AI 음악 인터페이스에 대한 강력한 필요성을 강조하고 있다.