[논문 리뷰] Modeling Harmony with Skip-Grams

David R. W. Sears, Andreas Arzt외 3명|arXiv (Cornell University)|2017. 07. 14.

Music and Audio Processing참고 문헌 22인용 수 14

한 줄 요약

이 논문은 서양 고전 음악의 톤 화성 구조를 모델링하기 위해 자연어 처리 기법인 스킵그램(skiп그램)을 활용하여, 비연속적인 화성 진행을 포착함으로써 n-그램 분포에서의 데이터 희소성 문제를 줄인다. 스킵 임계값 내의 부분 수열을 포함시킴으로써, 전통적인 결합(cadence)의 커버리지가 크게 향상되고 희귀 n-그램 비율이 감소하며, 특히 3-그램과 4-그램의 경우 연속적인 n-그램보다 패턴 탐지 작업에서 뛰어난 성능을 보인다.

ABSTRACT

String-based (or viewpoint) models of tonal harmony often struggle with data sparsity in pattern discovery and prediction tasks, particularly when modeling composite events like triads and seventh chords, since the number of distinct n-note combinations in polyphonic textures is potentially enormous. To address this problem, this study examines the efficacy of skip-grams in music research, an alternative viewpoint method developed in corpus linguistics and natural language processing that includes sub-sequences of n events (or n-grams) in a frequency distribution if their constituent members occur within a certain number of skips. Using a corpus consisting of four datasets of Western classical music in symbolic form, we found that including skip-grams reduces data sparsity in n-gram distributions by (1) minimizing the proportion of n-grams with negligible counts, and (2) increasing the coverage of contiguous n-grams in a test corpus. What is more, skip-grams significantly outperformed contiguous n-grams in discovering conventional closing progressions (called cadences).

연구 동기 및 목표

• 높은 차수의 진행(예: 3-그램 및 4-그램)에 대해 특히 발생하는 n-그램 모델의 데이터 희소성 문제를 해결하기 위해.
• 비음정화음(Non-chord tone)이 존재함에도 불구하고 연속적인 이벤트 간의 간섭으로 인해 생략되는 비연속적인 이벤트(예: 결합)를 간과하는 음악 모델링의 연속성 오류(contiguity fallacy)를 극복하기 위해.
• 연속적인 n-그램 분포에 존재하지 않는 반복적인 화성 패턴(예: 완전 진실한 결합)이 스킵그램을 통해 복원 가능한지 평가하기 위해.
• 비접촉하지만 구조적으로 중요한 화성 이벤트를 모델링하여 심볼릭 음악 데이터베이스에서 패턴 탐지 및 예측 성능을 향상시키기 위해.

제안 방법

• 음성 이동 유형(Voice-leading types, VLTs)을 활용해 최적의 축소된 화성 유형 체계를 구축하여, 12를 모듈로로 사용한 박자 위의 간격으로 화성 구조를 표현한다.
• 스킵그램은 고정 또는 가변 시간 스킵(t) 내에서 발생하는 n개의 화성 이벤트 부분 수열로 정의되며, 이는 비연속적인 이벤트도 n-그램 분포에 포함시킬 수 있도록 한다.
• 두 가지 스킵 조건을 평가: 고정 스킵(t=2), 가변 스킵(t=2초의 인터온셋 간격), 각각 2-그램, 3-그램, 4-그램에 적용.
• 본 연구는 서양 고전 음악의 네 가지 심볼릭 음악 데이터베이스를 대상으로 하며, VLT 인코딩을 통해 데이터셋 간의 화성 표현을 표준화한다.
• 커버리지 및 희소성 지표는 희귀 n-그램 비율과 스킵그램 모델이 테스트 세트의 연속적 n-그램을 얼마나 회복하는지 비교하여 계산된다.
• 컴퓨터 하드웨어로도 실행 가능한 계산 효율성 확보: 1,000개의 화성 이벤트로 구성된 시퀀스에서 4-그램 추출에 소요 시간이 100ms 이내였다.

실험 결과

연구 질문

• RQ1 스킵그램은 희귀 n-그램의 비율을 줄임으로써, 수치가 미미한 n-그램 분포의 데이터 희소성을 줄일 수 있는가?
• RQ2 스킵그램은 연속적인 n-그램의 커버리지가 테스트 코퍼스에서 연속적인 n-그램에 비해 얼마나 향상되는가?
• RQ3 스킵그램은 비연속적인 이벤트를 포함함으로써, 표면적으로는 연속적이지 않지만 구조적으로 존재하는 전통적인 화성 진행(예: 결합)을 성공적으로 복원할 수 있는가?
• RQ4 스킵그램을 통해 비연속적인 이벤트를 포함시킬 경우, 세밀한 결합(semplice cadence)과 복합 결합(composta cadence)과 같은 반복적인 화성 패턴 탐지에 어떤 영향을 미치는가?

주요 결과

• 3-그램의 경우, 수치가 미미한 n-그램의 비율이 연속적 모델의 42.5%에서 고정 스킵 모델의 21.8%, 가변 스킵 모델의 18.7%로 감소하여 희소성이 유의미하게 감소하였다.
• 테스트 세트에서 연속적 3-그램의 커버리지가 연속적 모델의 59.2%에서 고정 스킵 모델의 84.1%, 가변 스킵 모델의 88.3%로 상승하여, 영향도 없는 빈도 문제를 완화하였다.
• 4-그램의 경우, 연속적 n-그램의 커버리지가 연속적 모델의 36.5%에서 고정 스킵 모델의 71.1%, 가변 스킵 모델의 82.4%로 상승하여, 구조적 패턴의 강력한 복원 능력을 입증하였다.
• 세밀한 결합(semplice cadence, I⁶–ii⁶–V⁷–I)은 스킵그램을 통해 245편의 곡 중 32편에서 탐지되었으나, 연속적 모델에서는 0건이었으며, 복합 결합(composta cadence, ii⁶–“I⁶₄”–V⁷–I)은 스킵그램으로 77편에서 발견되었고, 연속적 모델은 단 7편에서만 탐지하였다.
• 스킵그램은 n<5에 대해 힘의 법칙(power-law) 빈도-순위 관계를 복원하였으며, 이는 연속적인 n-그램 분포에서 상실된 통계적 안정성을 의미한다.
• 실행 시간 성능은 실용적이었다: 고정 스킵 조건에서는 1,000개의 화성 이벤트로 구성된 시퀀스에서 4-그램 추출에 100ms 미만, 가변 스킵 조건에서는 3초 미만이 소요되었다.