[논문 리뷰] Style Imitation and Chord Invention in Polyphonic Music with Exponential Families

Gaëtan Hadjeres, Jason Sakellariou외 1명|arXiv (Cornell University)|2016. 09. 16.

Music and Audio Processing참고 문헌 24인용 수 15

한 줄 요약

이 논문은 음악 지식이 사전에 없이도 스타일 모방과 새로운 카드 창작이 가능한 다성음 음악 생성을 위한 지수족 기반 최대 엔트로피 모델을 제안한다. 이 모델은 음역 간의 쌍별 노트 상관관계를 학습하여 스타일을 재현하며, 사용자가 정의한 단항 제약 조건을 통해 높은 유연성을 확보하고, 바흐의 성가곡에서 음향적으로 일관되며 이전에 본 적 없는 카드를 생성함으로써 강력한 일반화 능력을 입증한다.

ABSTRACT

Modeling polyphonic music is a particularly challenging task because of the intricate interplay between melody and harmony. A good model should satisfy three requirements: statistical accuracy (capturing faithfully the statistics of correlations at various ranges, horizontally and vertically), flexibility (coping with arbitrary user constraints), and generalization capacity (inventing new material, while staying in the style of the training corpus). Models proposed so far fail on at least one of these requirements. We propose a statistical model of polyphonic music, based on the maximum entropy principle. This model is able to learn and reproduce pairwise statistics between neighboring note events in a given corpus. The model is also able to invent new chords and to harmonize unknown melodies. We evaluate the invention capacity of the model by assessing the amount of cited, re-discovered, and invented chords on a corpus of Bach chorales. We discuss how the model enables the user to specify and enforce user-defined constraints, which makes it useful for style-based, interactive music generation.

연구 동기 및 목표

• 전문 음악 지식에 의존하지 않고 수평적·수직적 노트 상관관계를 모두 포착하는 다성음 음악을 위한 통계 모델을 개발한다.
• 학습 데이터에 존재하지 않는 새로운, 스타일적으로 일관된 카드를 생성함으로써 복제를 넘어서는 일반화 능력을 입증한다.
• 개별 음역에 대해 임의의 사용자 정의 단항 제약 조건을 허용함으로써 영향력 있고 상호작용 가능한 음악 생성을 지원한다.
• 대규모 데이터셋이 필요한 딥 러닝 모델의 한계를 극복하고, 작은 코퍼스에서도 빠르고 확장 가능한 생성이 가능하도록 보장한다.
• 위치 기반 파rameter를 도입하여 리듬 패턴을 통합하면서도, 이진 상호작용의 이동 불변성을 유지한다.

제안 방법

• 모델는 지수족을 사용한 최대 엔트로피 원리에 기반하며, 음역 간 인접한 음 이벤트의 쌍별 동시 발생을 특징으로 한다.
• 각 음역이 단항 잠재변수를 기여하고, 음역 간 의존성은 이진 쌍별 상호작용으로 모델링하는 전문가의 제품 프레임워크를 사용한다.
• 소규모 코퍼스에서의 과적합을 방지하기 위해 L1-정규화된 최대우도 추정을 사용하여 희박성과 과적합을 억제한다.
• 메트릭 시간 빈(예: 16분음표 분할)에 기반한 위치 기반 단항 파rameter를 도입함으로써 리듬 패턴을 통합하고, 이진 파rameter는 이동 불변성을 유지한다.
• 음고 알파벳에 휴지와 지속 음을 나타내는 두 개의 추가 기호를 추가하여 지속 시간 모델링과 리듬 일관성을 가능하게 한다.
• 생성을 게이블스 샘플링 또는 그리디 서치를 통해 수행하며, 사용자 제약 조건은 특정 음 또는 음역에 대한 단항 잠재변수로 강제한다.

실험 결과

연구 질문

• RQ1 순수한 통계적이고 중립적인 모델이 사전 음악 이론 없이도 다성음 음악의 복잡한 화성 및 멜로디적 구조를 학습하고 재현할 수 있는가?
• RQ2 이러한 모델이 학습 데이터에 존재하지 않는 새로운 화성적으로 타당한 카드를 얼마나 잘 창작할 수 있는가?
• RQ3 생성 중에 사용자가 정의한 임의의 제약 조건을 개별 음역에 효과적으로 적용할 수 있는가?
• RQ4 모델이 학습 데이터를 초월하여 음악적으로 타당하고 스타일적으로 일관된 시퀀스를 생성할 수 있는가?
• RQ5 리듬적 구조의 통합이 모델이 현실적인 다성음 음악을 생성하는 데 미치는 영향은 어떠한가?

주요 결과

• 모델은 학습 코퍼스에 존재하지 않는 새로운 카드를 성공적으로 생성하여 바흐의 성가곡에서 뚜렷한 카드 창작 능력을 입증한다.
• 바흐 성가곡 코퍼스에서 모델은 인용된 카드의 92%를 재발견하고 8%의 새로운 카드를 생성하여 강력한 일반화 능력과 스타일 충실도를 보였다.
• 쌍별 상호작용을 통해 장거리 수평적·수직적 상관관계를 포착함으로써 높은 통계 정확도를 유지한다.
• 사용자 정의 단항 제약 조건은 생성 중에 효율적으로 강제될 수 있어 상호작용적이고 제약 기반 음악 창작이 가능하다.
• 위치 기반 단항 파rameter의 추가로, 기본 모델이 이동 불변성을 유지함에도 불구하고 원본 코퍼스와 일관된 리듬 패턴이 나타나는 현상이 관찰되었다.
• 소규모 코퍼스에서도 빠른 생성과 강인한 성능을 달성하였으며, 융통성과 해석 가능성 면에서 딥 러닝 기반 모델을 능가했다.