[논문 리뷰] The Piano Inpainting Application

Gaëtan Hadjeres, Léopold Crestel|arXiv (Cornell University)|2021. 07. 13.

Music and Audio Processing참고 문헌 25인용 수 7

한 줄 요약

이 논문은 실시간으로 작동하며 상호작용이 가능한 AI 시스템인 피아노 인paint링 애플리케이션(Piano Inpainting Application, PIA)을 소개한다. PIA는 MIDI 클립의 누락된 부분을 보완함으로써 표현적인 피아노 연주를 생성한다. 새로운 구조적 MIDI 인코딩과 최적화된 선형 트랜스포머 인코더-디코더 모델을 사용하여, Ableton Live 내에서 Max for Live 플러그인을 통해 빠르고 반응성이 뛰어난 생성 기능을 제공하며, 음악 창작 과정에서 유연한 인간-AI 협업을 가능하게 한다.

ABSTRACT

Autoregressive models are now capable of generating high-quality minute-long expressive MIDI piano performances. Even though this progress suggests new tools to assist music composition, we observe that generative algorithms are still not widely used by artists due to the limited control they offer, prohibitive inference times or the lack of integration within musicians' workflows. In this work, we present the Piano Inpainting Application (PIA), a generative model focused on inpainting piano performances, as we believe that this elementary operation (restoring missing parts of a piano performance) encourages human-machine interaction and opens up new ways to approach music composition. Our approach relies on an encoder-decoder Linear Transformer architecture trained on a novel representation for MIDI piano performances termed Structured MIDI Encoding. By uncovering an interesting synergy between Linear Transformers and our inpainting task, we are able to efficiently inpaint contiguous regions of a piano performance, which makes our model suitable for interactive and responsive A.I.-assisted composition. Finally, we introduce our freely-available Ableton Live PIA plugin, which allows musicians to smoothly generate or modify any MIDI clip using PIA within a widely-used professional Digital Audio Workstation.

연구 동기 및 목표

• 전문 음악 창작 워크플로우에서 상호작용적이고 반응성이 뛰어난 AI 도구의 부족을 해결한다.
• 기존 생성 모델이 DAW와 실시간으로 통합하거나 편집하거나 제어하는 데 한계를 가진 문제를 해결한다.
• 누락된 부분을 복원하는 집중적인 인페인팅 작업을 통해 직관적인 인간-AI 협업을 가능하게 한다.
• Ableton Live와 같은 전문 음악 제작 환경에 원활하게 통합되는 시스템을 개발한다.
• 새로운 데이터 표현 방식과 아키텍처를 사용해 표현적인 MIDI 생성을 위한 추론 속도 향상과 모델 제어성 향상을 도모한다.

제안 방법

• 음고, 강도, 지속시간, 타임시프트를 분리하여 구조적이고 저어휘량의 시퀀스로 표현하는 새로운 구조적 MIDI 인코딩 표현 방식을 제안하여, 모델의 일반화 능력과 인페인팅 효율성을 향상시킨다.
• 표현적인 피아노 연주 데이터로 훈련된 인코더-디코더 선형 트랜스포머 아키텍처를 구현하여 장거리 의존성을 모델링하고 조건부 생성을 가능하게 한다.
• 선형 트랜스포머의 이중 추론 기능(자기회귀적 및 비자기회귀적)을 활용하여 연속된 영역의 인페인팅 속도를 가속화한다.
• 실시간으로 점진적으로 노트를 생성하는 빠른 추론 기반 설계를 통해 최소한의 지연으로 반응성이 뛰어난 상호작용을 가능하게 한다.
• Ableton Live용 Max for Live 플러그인을 개발하여 음악가가 직접 DAW 환경에서 선택된 MIDI 클립의 인페인팅을 트리거할 수 있도록 한다.
• 정교하게 보정된 중간 크기의 모델을 사용하여 고품질의 표현적인 출력을 달성하면서도 근접 실시간 추론 속도를 유지한다.

실험 결과

연구 질문

• RQ1 표현적인 피아노 연주를 위한 생성 모델이 전문 DAW 환경에서 실시간으로 사용 가능한 상호작용적이고 효율적인가?
• RQ2 표준 이벤트 기반 인코딩과 비교했을 때, 비이벤트 기반의 구조적 MIDI 표현 방식은 인페인팅 모델의 성능과 제어성에 어떤 영향을 미치는가?
• RQ3 선형 트랜스포머는 표현적인 피아노 연주에서 연속된 영역을 얼마나 신속하고 고품질로 인페인팅할 수 있는가?
• RQ4 Ableton Live와 같은 널리 사용되는 DAW에 플러그인 기반 통합이 이루어질 경우, AI 지원 음악 창작의 접근성과 보급에 어떤 영향을 미치는가?
• RQ5 무조건적 생성이 아닌 반복적이고 상호작용적인 인페인팅을 지원하는 AI 도구가 등장할 경우, 어떤 새로운 작곡 워크플로우가 탄생하는가?

주요 결과

• 피아노 인페인팅 애플리케이션(PIA)은 근접 실시간 추론을 달성하여, 인페인팅 영역의 첫 번째 음이 1초 이내에 생성되며, 반응성이 뛰어난 인간-AI 상호작용을 가능하게 한다.
• 구조적 MIDI 인코딩 표현 방식은 음악적 속성을 더 작은 구조적 어휘로 분리함으로써 모델의 일반화 능력 향상과 더 효율적인 훈련 및 추론을 가능하게 한다.
• 선형 트랜스포머 아키텍처와 그 이중 추론 모드의 조합은 표현력을 유지하면서도 연속된 영역의 빠르고 고품질의 인페인팅을 가능하게 한다.
• PIA 플러그인은 Ableton Live에 원활하게 통합되어 음악가가 전문 DAW 환경에서 직접 어떤 MIDI 클립이라도 재생성하거나 수정할 수 있다.
• 반복적이고 상호작용적인 편집을 가능하게 하여, 단순한 계속 생성이나 무조건적 생성을 넘어서 혁신적인 작곡 워크플로우를 지원한다.
• 모델은 표현적인 피아노 연주에서 강도와 마이크로타이밍의 세밀한 제어를 유지하면서도, 긴 또는 복잡한 세그먼트를 인페인팅할 때도 뛰어난 생성 품질을 보여준다.