[논문 리뷰] Sampling Variations of Lead Sheets

Pierre Roy, Alexandre Papadopoulos외 1명|arXiv (Cornell University)|2017. 03. 02.

Music and Audio Processing참고 문헌 8인용 수 7

한 줄 요약

이 논문은 몽고-생코프 유사도 측정법을 사용하여 주어진 테마와 유사하고 구조적으로 일관된 시퀀스를 생성함으로써 통계 모델에서 멜로디 변주를 샘플링하는 벨리프 전파 기반 방법을 제안한다. 이 방법은 의도적인 반복과 대비를 포함한 구조적인 리드 시트를 구성하는 데 유의미한 제약 조건을 제공한다.

ABSTRACT

Machine-learning techniques have been recently used with spectacular results to generate artefacts such as music or text. However, these techniques are still unable to capture and generate artefacts that are convincingly structured. In this paper we present an approach to generate structured musical sequences. We introduce a mechanism for sampling efficiently variations of musical sequences. Given a input sequence and a statistical model, this mechanism samples a set of sequences whose distance to the input sequence is approximately within specified bounds. This mechanism is implemented as an extension of belief propagation, and uses local fields to bias the generation. We show experimentally that sampled sequences are indeed closely correlated to the standard musical similarity measure defined by Mongeau and Sankoff. We then show how this mechanism can used to implement composition strategies that enforce arbitrary structure on a musical lead sheet generation problem.

연구 동기 및 목표

• 장기적인 음악적 구조, 특히 반복과 변주를 포착하지 못하는 통계 모델의 한계를 해결하기 위해.
• 형식적인 유사도 측정법에 기반하여 청각적으로 유사한 변주를 생성할 수 있는 메커니즘을 개발하기 위해.
• AABA와 같은 정의된 형식을 가진 구조적인 리드 시트를 구성하기 위한 보다 넓은 프레임워크에 변주 샘플링을 통합하기 위해.
• 원본과 생성된 변주 간의 유사도 수준을 제어할 수 있도록 하여 작곡의 의도를 반영하기 위해.
• 생성된 시퀀스가 음악적으로 일관되고 미적으로 매력적이며, 구조적 일관성과 방향성을 유지하고 있음을 입증하기 위해.

제안 방법

• 지역 필드를 사용하여 특정 유사도 범위 내의 시퀀스로 향하도록 유도하는 마르코프 모델에서 시퀀스를 샘플링하기 위해 벨리프 전파를 적응시켰다.
• 편집 연산(치환, 삽입, 삭제, 분할, 통합 포함)을 포함한 몽고-생코프 멜로디 유사도 측정법을 제약 조건으로 사용하였다.
• 가중 편집 비용을 사용: $ w_{\text{subst}}(a_i,b_j) = w_{\text{pitch}}(a_i,b_j) + k_1 w_{\text{len}}(a_i,b_j) $, 여기서 $ k_1 $ 은 음고와 지속시간 차이의 상대적 중요도를 조절한다.
• 샘플링 프레임워크 내에서 유사도 계산을 실현 가능하게 하기 위해 몽고-생코프 동적 계획법의 근사치를 도입하였다.
• 반복되거나 옮겨진 구간을 생성 중 제약 조건으로 간주하는 두 음성 리드 시트 모델 내에서 변주 샘플링 메커니즘을 적용하였다.
• 좌측에서 우측으로의 생성에 후방 제약 조건을 적용하여 반복되거나 복사된 마디 간의 일관성을 확보하였다.

실험 결과

연구 질문

• RQ1 통계 모델이 몽고-생코프 유사도 지표로 측정된 바에 따라 청각적으로 유사한 변주를 생성할 수 있는가?
• RQ2 생성 과정에서 테마와 그 변주 간의 유사도 수준을 어떻게 제어할 수 있는가?
• RQ3 변주 샘플링 메커니즘을 더 큰 작곡 프레임워크에 통합하여 정의된 형식을 가진 구조적인 리드 시트를 생성할 수 있는가?
• RQ4 인간 전문가가 평가했을 때 생성된 시퀀스는 음악적으로 일관되고 방향성을 지닌가?
• RQ5 이 방법은 원본 곡의 구조적 특징, 예를 들어 반복, 옮김, 변주 패턴 등을 어느 정도 유지하는가?

주요 결과

• 제안된 샘플링 메커니즘은 몽고-생코프 유사도 측정법과 통계적으로 유사한 시퀀스를 성공적으로 생성하여, 멜로디 유사도를 포착하는 데 효과적임을 확인하였다.
• 유사도 편향의 강도는 매개변수 $ k_1 $ 을 통해 조절 가능하여 원본 테마에서의 변주 거리에 대해 세밀한 제어가 가능하다.
• 'In a Sentimental Mood' 기반으로 생성된 리드 시트는 음악 전문가들로부터 매력적이고 일관된 것으로 평가되었으며, 명확한 방향성과 함께 구성되어 있었다.
• 이 방법은 실제 작곡 실천 방식을 반영한 변주를 성공적으로 생성하였으며, 예를 들어 옮겨진 반복이나 리듬적 변화가 포함되었다.
• 구조적 생성 파이프라인에 변주 샘플링을 통합함으로써 특정 스타일(예: 비틀즈 스타일)의 새로운 곡을 내부 일관성과 형식적 구조를 유지하면서 생성할 수 있었다.
• 장기적인 구조를 가진 음악 생성 측면에서 표준 통계 모델보다 뛰어난 성능을 보였으며, 방향성이 없거나 반복적이거나 비일관된 출력이 나타나지 않았다.