[논문 리뷰] Computer Assisted Composition with Recurrent Neural Networks

Christian Walder, Dongwoo Kim|arXiv (Cornell University)|2016. 12. 01.

Music and Audio Processing참고 문헌 15인용 수 4

한 줄 요약

이 논문은 순환 신경망(LSTM 기반)과 유한 상태 기계를 통한 인간의 지침적 제약 조건을 융합한 하이브리드 시스템을 제안하여 컴퓨터 보조 음악 창작을 가능하게 한다. 비마르코프 연속 모델에 대한 근사적 샘플링을 위한 효율적인 순차 몬테카를로(SMC) 방법을 도입하고, 조건부 확률 최대화를 위한 빔 검색과 비교하여, 관용적인 제약 조건 하에서 샘플링이 더 음악적으로 다양하고 자연스러운 결과를 도출함을 입증한다.

ABSTRACT

Sequence modeling with neural networks has lead to powerful models of symbolic music data. We address the problem of exploiting these models to reach creative musical goals, by combining with human input. To this end we generalise previous work, which sampled Markovian sequence models under the constraint that the sequence belong to the language of a given finite state machine provided by the human. We consider more expressive non-Markov models, thereby requiring approximate sampling which we provide in the form of an efficient sequential Monte Carlo method. In addition we provide and compare with a beam search strategy for conditional probability maximisation. Our algorithms are capable of convincingly re-harmonising famous musical works. To demonstrate this we provide visualisations, quantitative experiments, a human listening test and audio examples. We find both the sampling and optimisation procedures to be effective, yet complementary in character. For the case of highly permissive constraint sets, we find that sampling is to be preferred due to the overly regular nature of the optimisation based results. The generality of our algorithms permits countless other creative applications.

연구 동기 및 목표

• 고도화된 신경 시계열 모델을 활용하여 인간 작곡가와의 협업을 가능하게 하는 시스템을 개발하는 것.
• 최적화 기반 방법의 과도하게 규칙적인 출력 결과의 한계를 극복하기 위해 확률적 샘플링을 도입하는 것.
• 이전의 마르코프 모델 및 유한 상태 제약 조건 연구를 비마르코프적이고 표현력 있는 시계열 모델, 예를 들어 LSTM으로 일반화하는 것.
• 음악적으로 타당하고 다양한 재조화를 생성하는 데 있어 샘플링과 최적화의 효과를 평가하는 것.
• 음악 예시, 시각화 및 청취 테스트를 통해 방법의 실현 가능성과 창의적 잠재력을 입증하는 것.

제안 방법

• 시계열의 시간과 지속 시간을 기반으로 한 조건부 분포를 모델링하기 위해 장기 단기 기억(LSTM) 순환 신경망을 사용한다.
• 인간의 입력을 허용 가능한 음악적 시퀀스의 언어를 정의하는 유한 상태 기계(FSM)로 표현한다.
• 시스템적 리샘플링을 사용한 순차 몬테카를로(SMC) 방법을 통해 유한 상태 기계 제약 조건 하에서 조건부 분포로부터 근사적 추론 및 샘플링을 수행한다.
• 동일한 제약 조건 하에서 조건부 확률을 최대화하기 위한 대안적 방법으로 빔 검색을 구현한다.
• 효율적인 계산을 가능하게 하기 위해 인과적 인수분해를 적용하여 시간과 지속 시간을 기반으로 한 노트 시퀀스의 조건부 확률을 모델링한다.
• 샘플링과 최적화 전략을 통합하여 다양한 상호작용이 가능한 음악 창작을 가능하게 한다.

실험 결과

연구 질문

• RQ1 LSTM과 같은 비마르코프적 시계열 모델을 인간이 제공한 제약 조건과 효과적으로 융합하여 창의적 음악 창작을 가능하게 할 수 있는가?
• RQ2 관용적인 제약 조건 하에서 샘플링 기반과 최적화 기반 접근 방식은 음악적 다양성과 통일성 측면에서 어떻게 비교되는가?
• RQ3 순차 몬테카를로(SMC) 방법을 통해 표현력 있는 비마르코프 모델에 대해 제약 조건이 부여된 유한 상태 기계 하에서 효과적인 근사 추론이 가능한가?
• RQ4 모든 음악적 구조와 의도를 유지하면서 고전 작품의 재조화를 신뢰할 만하게 생성할 수 있는가?
• RQ5 청취자들은 샘플링 기반과 빔 검색 기반으로 생성된 결과의 음악적 품질을 어떻게 평가하는가?

주요 결과

• 비마르코프적 시계열 모델인 순차 몬테카를로(SMC) 샘플링 방법은 특히 관용적인 제약 조건 하에서 빔 검색에 비해 더 음악적으로 다양하고 자연스러운 재조화 결과를 도출한다.
• 빔 검색 결과는 제약 조건이 느슨할수록 과도하게 규칙적이고 반복적인 경향이 있었으며, 이는 모델이 고확률이지만 반복적인 패턴을 선호하기 때문이다.
• 적어도 한 음역이 고정된 제약 조건이 있을 경우, 샘플링과 최적화 양측 모두 뛰어난 음악적 품질을 유지하는 것으로 나타났다. 이는 미미한 인간 입력이라도 고품질의 창작을 이끌 수 있음을 시사한다.
• 입자 필터(SMC)는 제약 조건이 없는 경우와 비교해 성능이 약간 떨어지긴 했지만, 일부 제약 조건이 없는 실행에서 관찰된 악성 해상도를 피하는 데 성공했다.
• 인간 청취자 테스트 결과, SMC로 생성된 음악은 빔 검색 결과보다 더 음악적으로 흥미롭고 다양하게 인식되었다.
• 시스템은 멜로디를 고정시켜 모차르트의 현악 사중주를 성공적으로 재조화하여, 조화적으로 타당하고 스타일에 부합하는 반주를 생성했다.