[논문 리뷰] Deep Predictive Models in Interactive Music

Charles Martín, Kai Olav Ellefsen외 1명|arXiv (Cornell University)|2018. 01. 31.

Music Technology and Sound Studies참고 문헌 13인용 수 3

한 줄 요약

이 논문은 디지털 악기(DMIs)에서의 딥 예측 모델이 음악 연주에서 인간의 인지적 예측 능력을 어떻게 확장하는지 조사한다. 이를 통해 실시간 음악 이어쓰기, 적응형 제어 및 앙상블 상호작용이 가능해진다. 매핑과 모델링을 예측 과제로 재정의함으로써, 저자들은 순환 신경망(RNNs)과 기타 기계학습 모델이 장기 기억과 지능적인 반응성을 갖춘 표현적이고 상호작용적인 음악 시스템을 향상시킨다는 것을 입증한다.

ABSTRACT

Musical performance requires prediction to operate instruments, to perform in groups and to improvise. In this paper, we investigate how a number of digital musical instruments (DMIs), including two of our own, have applied predictive machine learning models that assist users by predicting unknown states of musical processes. We characterise these predictions as focussed within a musical instrument, at the level of individual performers, and between members of an ensemble. These models can connect to existing frameworks for DMI design and have parallels in the cognitive predictions of human musicians. We discuss how recent advances in deep learning highlight the role of prediction in DMIs, by allowing data-driven predictive models with a long memory of past states. The systems we review are used to motivate musical use-cases where prediction is a necessary component, and to highlight a number of challenges for DMI designers seeking to apply deep predictive models in interactive music systems of the future.

연구 동기 및 목표

• 예측 기반 기계학습 모델이 디지털 악기(DMIs)에서 음악 연주를 어떻게 지원하는지 조사하기.
• DMIs의 악기, 연주자, 앙상블 수준에서 사용된 예측 모델을 식별하고 분류하기.
• 상호작용 음악에서의 매핑과 모델링을 예측의 형태로 재정의하여 연주자들의 인지 과정과 연결하기.
• 미래 DMI 설계를 위한 딥 러닝 통합의 과제와 기회를 부각하기.
• 특히 센서 입력에서 사운드 출력까지의 엔드 투 엔드 학습을 가능하게 하는 예측을 상호작용 음악 시스템의 통합 프레임워크로 제안하기.

제안 방법

• 예측 수준에 따라 기존 DMI 시스템을 분류하기: 악기 수준(예: 제스처-사운드 매핑), 연주자 수준(예: 음악 구절 이어쓰기), 앙상블 수준(예: 그룹 상호작용 예측).
• 문헌에서 18개의 DMI 시스템과 두 개의 내부 개발 시스템(GloveTalk II, PiaF)을 검토하여 기계학습 모델, 입력, 출력을 분석하기.
• 순환 신경망(RNNs), 서포트 벡터 머신(SVMs), 은닉 마르코프 모델(HMMs) 및 기타 모델을 사용해 음악 시퀀스를 모델링하고 센서 데이터를 사운드 파라미터로 매핑하기.
• 음악 매핑(제어-사운드)과 모델링(음악 과정의 표현)을 별개이지만 관련된 예측의 형태로 재정의하기.
• 장기 기억과 맥락 인식 처리를 통해 리듬, 화성, 멜로디 등의 시간적 구조를 어떻게 처리하는지 분석하기.
• 딥 러닝 모델, 특히 RNNs가 센서 데이터가 직접 표현적이고 적응형 사운드 생성을 이끄는 엔드 투 엔드 예측 시스템을 가능하게 한다고 제안하기.

실험 결과

연구 질문

• RQ1 DMIs에서의 딥 예측 모델은 음악 연주에서 인지적 예측을 어떻게 지원하고 확장하는가?
• RQ2 상호작용 음악에서의 매핑과 모델링은 어떻게 예측 과제로 재해석될 수 있는가?
• RQ3 실시간으로 표현적인 음악 상호작용을 위한 예측 모델을 사용하는 DMI를 설계할 때의 주요 과제는 무엇인가?
• RQ4 다양한 기계학습 모델(RNNs, HMMs, SVMs 등)은 악기, 연주자, 앙상블 수준에서 예측을 어떻게 지원하는가?
• RQ5 미래의 상호작용 음악 시스템에 예측 지능을 통합하기 위해 필요한 설계 원칙과 프레임워크는 무엇인가?

주요 결과

• 특히 RNNs를 사용한 DMI의 예측 모델은 음악 상태의 장기 기억을 가능하게 하여 맥락 인식 기반의 음악 이어쓰기와 적응을 가능하게 한다.
• AI Duet와 RoboJam과 같은 시스템은 RNNs를 활용해 실시간으로 음악 구절을 이어가며, 기호 음악 입력을 통한 효과적인 연주자 수준의 예측을 보여준다.
• MalLo(드럼 스트로크 예측)와 Neural Touchscreen Ensemble(제스처 클래스 예측)와 같은 모델들은 협업 즉흥 연주에서의 앙상블 수준 예측 가능성을 입증한다.
• BRAAHMS에서 fNIRS와 BCI의 사용은 뇌 신호가 예측적 화성 앙상블에 입력으로 사용될 수 있음을 보여주며, 센서 모odalities를 확장한다.
• 잠재력은 있지만, RNN과 같은 딥 러닝 모델은 아직 DMI에서 널리 채택되지는 않았으며, 실용적 구현의 격차가 있음을 시사한다.
• 예측 모델의 통합은 음악적 표현성을 향상시키며, 특히 라이브 연주와 즉흥 연주 환경에서 새로운 창의적 가능성을 제공한다.