[논문 리뷰] NONOTO: A Model-agnostic Web Interface for Interactive Music Composition by Inpainting

Théis Bazin, Gaëtan Hadjeres|arXiv (Cornell University)|2019. 07. 23.

Music and Audio Processing참고 문헌 9인용 수 9

한 줄 요약

NONOTO는 인painting 기반 생성 모델을 사용하는 인터랙티브 음악 작곡을 위한 모델에 종속되지 않는 웹 기반 인터페이스로, 실시간 점수 편집, 오디오 재생, MIDI 출력 및 Ableton Link를 통한 DAW 동기화를 가능하게 합니다. 연구자들은 자신의 모델을 통합할 수 있고, 뮤지션들은 실시간으로 공동으로 음악을 창작할 수 있어 AI 보조 음악 제작의 창의성과 접근성 향상에 기여합니다.

ABSTRACT

Inpainting-based generative modeling allows for stimulating human-machine interactions by letting users perform stylistically coherent local editions to an object using a statistical model. We present NONOTO, a new interface for interactive music generation based on inpainting models. It is aimed both at researchers, by offering a simple and flexible API allowing them to connect their own models with the interface, and at musicians by providing industry-standard features such as audio playback, real-time MIDI output and straightforward synchronization with DAWs using Ableton Link.

연구 동기 및 목표

• AI 음악 생성과 실제 음악 창작 사이의 격차를 해소하기 위해 실시간으로 인간이 개입하는 작곡을 가능하게 하기 위해.
• 연구자들이 실제 음악 제작 환경에서 자신의 음악 생성 모델을 테스트하고 배포할 수 있도록 유연하고 오픈소스 프레임워크를 제공하기 위해.
• 비전문가 뮤지션들이 기호적 점수를 실시간으로 편집하는 직관적인 방식으로 AI와 함께 음악을 공동 창작할 수 있도록 하기 위해.
• Ableton Live와 같은 전문 도구와의 통합을 통해 MIDI 및 Ableton Link를 통한 실시간 오디오 렌더링과 동기화를 통해 라이브 연주 및 공동 음악 제작을 지원하기 위해.
• 접근 가능하고 수정 가능한 인터페이스를 통해 '로봇 음악'에서 벗어나 AI 보조 공동 음악 창작으로의 전환을 촉진하기 위해.

제안 방법

• 인터페이스는 벡터 그래픽을 사용해 MusicXML 점수를 렌더링하기 위해 OpenSheetMusicDisplay를 사용하여 기호 음악의 고해상도 시각적 표현을 가능하게 합니다.
• Tone.js는 실시간 오디오 재생을 제공하여 사용자가 편집하는 동안에도 음악을 즉각 듣고, 중단 없이 작동할 수 있도록 합니다.
• 웹 기반 클라이언트는 HTTP를 통해 원격 음악 인페인팅 서버와 통신하며, 두 가지 핵심 명령어를 사용합니다: /generate는 초기화를, /timerange-change는 영역 기반 재생성을 위한 것입니다.
• 프론트엔드와 백엔드를 분리함으로써 모델에 종속되지 않는 통합을 지원하며, 표준화된 API를 통해 연구자들이 어떤 인페인팅 모델이든 쉽게 통합할 수 있습니다.
• DAW 통합은 Tone.js를 통한 실시간 오디오 렌더링 또는 WebMidi.js를 사용한 MIDI 출력을 통해 이루어지며, 가상 포트로 라우팅하고 Ableton Link를 통해 Ableton Live와 동기화할 수 있습니다.
• 코드 진행이나 페르마타 위치와 같은 메타데이터는 점수와 함께 전달되어 특정 훈련 데이터 코퍼스에 맞게 맥락 인식 생성이 가능하도록 합니다.

실험 결과

연구 질문

• RQ1 웹 기반 인터페이스는 어떻게 AI 인페인팅 모델을 사용해 실시간으로 상호작용하는 음악 작곡을 가능하게 할 수 있는가?
• RQ2 모델에 종속되지 않는 프레임워크는 얼마나 낮은 통합 오버헤드로 다양한 음악 생성 모델을 지원할 수 있는가?
• RQ3 실시간 오디오 재생과 MIDI 출력은 뮤지션과 연구자들의 창작 워크플로우를 어떻게 향상시킬 수 있는가?
• RQ4 DAW와 Ableton Link와 같은 동기화 프로토콜 통합은 라이브 연주 및 공동 음악 제작을 어떻게 지원하는가?
• RQ5 완전한 시퀀스 생성과 비교했을 때, 인페인팅 기반 생성은 어떻게 더 협업적이고 인간-AI 조합의 작곡 경험을 촉진할 수 있는가?

주요 결과

• NONOTO는 점수 재생성 중에도 실시간으로 중단 없이 오디오 재생을 지원하여 반응성이 높고 몰입감 있는 사용자 경험을 보장합니다.
• 인터페이스는 MIDI 및 Ableton Link를 통해 전문 DAW와 성공적으로 통합되어 실시간으로 동기화되고 라이브 연주 환경에서 원활하게 사용될 수 있습니다.
• 모델에 종속되지 않는 아키텍처 덕분에 연구자들은 최소한의 오버헤드로 자신의 인페인팅 모델을 쉽게 통합할 수 있어 빠른 배포와 평가가 가능합니다.
• 코드 진행이나 페르마타 배치와 같은 메타데이터 지원은 특정 음악 코퍼스에 맞게 맥락 인식되고 스타일적으로 일관된 재생성을 가능하게 합니다.
• 시스템은 인페인팅 기반 모델이 계속 생성 또는 전체 시퀀스 생성 모델보다 더 상호작용적이고 협업적인 작곡 워크플로우를 지원함을 입증합니다.
• 프레임워크의 오픈소스이자 수정 가능한 성격은 커뮤니티 기여와 새로운 상호작용 패러다임 및 음악 생성 작업에 대한 적응을 장려합니다.