[논문 리뷰] Interactive Music Generation with Positional Constraints using Anticipation-RNNs

Gaëtan Hadjeres, Frank Nielsen|arXiv (Cornell University)|2017. 09. 19.

Music and Audio Processing참고 문헌 13인용 수 22

한 줄 요약

이 논문은 사용자가 정의한 위치 제약 조건(예: 특정 시간 단계에서 특정 음을 고정하는 것)을 충족하면서도 훈련 데이터의 스타일적 품질을 유지하는 데에 적합한 새로운 RNN 아키텍처인 Anticipation-RNN을 소개한다. 이 방법은 향후 제약 조건을 사전에 인지하고 확률을 조정함으로써 O(N)의 RNN 호출로 제약 조건을 만족하는 샘플링을 실현하며, 속도를 희생시키지 않은 채 실시간으로 음악적으로 일관된 생성이 가능하다.

ABSTRACT

Recurrent Neural Networks (RNNS) are now widely used on sequence generation tasks due to their ability to learn long-range dependencies and to generate sequences of arbitrary length. However, their left-to-right generation procedure only allows a limited control from a potential user which makes them unsuitable for interactive and creative usages such as interactive music generation. This paper introduces a novel architecture called Anticipation-RNN which possesses the assets of the RNN-based generative models while allowing to enforce user-defined positional constraints. We demonstrate its efficiency on the task of generating melodies satisfying positional constraints in the style of the soprano parts of the J.S. Bach chorale harmonizations. Sampling using the Anticipation-RNN is of the same order of complexity than sampling from the traditional RNN model. This fast and interactive generation of musical sequences opens ways to devise real-time systems that could be used for creative purposes.

연구 동기 및 목표

• 기존 RNN 모델이 과거 이벤트에만 조건을 줄 수 있고 미래 제약 조건을 고려하지 못하는 한계를 해결하기 위해.
• 사용자가 특정 시간 위치에서 정확한 음을 지정할 수 있는 실시간, 사용자 중심의 음악 생성을 가능하게 하기 위해.
• 반복적인 샘플링에 비용이 많이 들지 않도록 RNN의 생성 품질을 유지하면서도 하드한 위치 제약 조건을 허용하는 방법을 개발하기 위해.
• 제약 조건이 있는 생성 결과가 훈련 데이터와 스타일적으로 일관성을 유지하는지 보장하기 위해(예: 바흐의 차오랄).
• 기호 음악 기반의 모든 RNN 기반 시퀀스 모델에 적용 가능한 일반화 가능한 프레임워크를 제공하기 위해.

제안 방법

• Anticipation-RNN 아키텍처는 표준 RNN을 수정하여 이중 경로 메커니즘을 도입한다: 하나의 경로는 과거 시퀀스를 처리하고, 다른 하나는 향후 제약 조건을 인코딩한다.
• 학습 가능한 어텐션 유사 메커니즘을 사용하여 은닉 상태를 향후 제약 조건에 조건화함으로써 생성 중에 제약 조건의 영향을 뒤로 전파할 수 있도록 한다.
• 표준 자동회귀적 가능도와 제약 조건이 있는 분포가 없는 분포와 일치하도록 하는 정규화 항을 포함한 수정된 손실을 사용하여 엔드 투 엔드로 모델을 훈련시킨다.
• 추론 과정에서 모델은 각 시간 단계당 오직 두 번의 RNN 전방 계산만 수행한다: 과거에 대한 것과 제약 조건을 고려한 상태에 대한 것. 이는 좌에서 우로의 생성을 수행한다.
• Kullback-Leibler 발산 및 그 변형을 활용하여 제약 조건이 있는 분포와 없는 분포 간의 편차를 정량화하고 제어한다.
• 이 방법은 바흐의 차오랄과 같은 다성분 음악을 훈련 데이터로 사용한 RNN 기반 시퀀스 모델에도 일반적으로 적용 가능하다.

실험 결과

연구 질문

• RQ1 사용자가 특정 시간 위치에서 특정 음을 고정할 수 있도록 함으로써 RNN 기반 음악 생성 모델을 상호작용 가능하게 만들 수 있는가?
• RQ2 이러한 제약 조건이 있는 생성은 느린 MCMC 샘플링을 피할 수 있을 정도로 효율적으로 수행될 수 있는가?
• RQ3 위치 제약 조건을 적용함으로써 생성된 시퀀스의 스타일적 품질이 떨어지는가?
• RQ4 좌에서 우로의 생성 과정에서 모델이 향후 제약 조건을 사전 인지하고 확률 분포를 조정할 수 있는가?
• RQ5 제약 조건이 있는 생성 과정은 확장 가능하며 실시간 창작 응용에 적합한가?

주요 결과

• Anticipation-RNN은 10,000개의 생성된 시퀀스 전부에서 사용자가 정의한 모든 위치 제약 조건을 100%로 충족시켰다. 이는 제약 조건 이행이 성공했음을 확인한다.
• 제약 조건이 있는 시퀀스의 확률 분포가 제약 조건이 없는 분포와 비례함을 확인했다. 이는 p_constrained와 p_unconstrained의 로그-로그 플롯이 거의 선형이며 R² ≈ 0.99에 가까운 것으로 나타났다.
• 제약 조건이 있는 분포와 없는 분포 간의 발산은 제약 조건이 있는 지점에서 예리하게 증가하며, 특히 반전 KL 발산에서 두드러진다. 이는 효과적인 제약 조건 전파가 이루어졌음을 시사한다.
• 길이가 N인 시퀀스에 대해 오직 2N회의 RNN 호출만 필요로 하므로, 표준 RNN 샘플링과 동일한 효율성을 확보하고 실시간 사용에 적합하다.
• 모델은 스타일적으로 일관성을 유지하며, 생성된 멜로디가 바흐의 차오랄과 멜로디의 윤곽과 화성 구조에서 유사함을 통해 이를 입증한다.
• 이 방법은 일반화 능력이 뛰어나 아키텍처의 대대적인 수정 없이도 모든 RNN 기반 시퀀스 모델에 적용 가능하다.