[논문 리뷰] Neural Dynamic Programming for Musical Self Similarity

Christian Walder, Dongwoo Kim|arXiv (Cornell University)|2018. 02. 09.

Music and Audio Processing인용 수 3

한 줄 요약

이 논문은 학습된 스코링 함수로 편집 거리의 일반화를 통해 반복되고 변형된 음악 모티프를 탐지하고 활용하는 신경 동적 프로그래밍 모델인 MotifNet을 제안한다. 에디트 트리로 계산을 구조화하고 가지치기 히우리즘을 사용함으로써, 세제곱 시간 복잡도 기반의 기존 모델보다 빠른 추론을 달성하며, 실제 및 합성 음악 데이터셋에서 음수 로그우도 측면에서 스태킹된 LSTMs를 능가한다.

ABSTRACT

We present a neural sequence model designed specifically for symbolic music. The model is based on a learned edit distance mechanism which generalises a classic recursion from computer sci- ence, leading to a neural dynamic program. Re- peated motifs are detected by learning the transfor- mations between them. We represent the arising computational dependencies using a novel data structure, the edit tree; this perspective suggests natural approximations which afford the scaling up of our otherwise cubic time algorithm. We demonstrate our model on real and synthetic data; in all cases it out-performs a strong stacked long short-term memory benchmark.

연구 동기 및 목표

• 인간이 작곡한 음악에서 흔히 볼 수 있는 반복적이고 변형된 모티프를 포함한 자기 유사적 구조를 심볼릭 음악에서 모델링하기 위해.
• 표준 RNN 및 LSTMs가 음악 생성에서 흔히 나타나는 방향을 잃고 모티프 기반 구조 없이 생성하는 문제를 해결하기 위해.
• 자기 회귀적 예측이 아닌 모티프 정렬을 통한 장거리 의존성을 포착하는, 미분 가능하고 구조화된 어텐션 메커니즘을 개발하기 위해.
• 에디트 트리라는 새로운 데이터 구조와 효율적인 가지치기를 사용해, 세제곱 시간 복잡도의 동적 프로그래밍 알고리즘을 모티프 탐지에 확장하기 위해.

제안 방법

• 모델는 고전적인 편집 거리 재귀를 신경망으로 일반화한 것으로, 삽입, 삭제, 치환, 동일성 등의 편집 연산이 미분 가능하고, 학습된 함수 $f_W$에 의해 스코링된다.
• 동적 프로그래밍 알고리즘이 음악 시퀀스의 모든 부분 시퀀스 간의 정렬을 계산하여, 인접하지 않은 위치 사이의 모티프 관계를 포착한다.
• 계산의 의존성은 에디트 트리로 표현되며, 노드는 부분 정렬을 나타내고, 간선은 편집 연산을 나타낸다.
• 학습된 히우리즘 함수가 에디트 트리의 부분 확장을 이끌며, 유망하지 않은 정렬을 가지치면서 시간 복잡도를 감소시키면서도 정확도를 유지한다.
• 모델는 동적 프로그램을 통해 역전파를 사용해 엔드 투 엔드로 훈련되며, 기울기가 스코링 함수 $f_W$를 통해 되돌아간다.
• 스코링 함수 $f_W$는 정렬 결정과 확장할 경로를 결정하는 데 모두 재사용되어, 효율적이고 일관된 모티프 탐지가 가능해진다.

실험 결과

연구 질문

• RQ1 신경 동적 프로그래밍 접근법이 심볼릭 음악 시퀀스에서 변형된 음악 모티프를 효과적으로 탐지하고 모델링할 수 있는가?
• RQ2 편집 거리 기반의 미분 가능하고 구조화된 어텐션 메커니즘이 표준 RNN 및 LSTMs를 넘어서 시퀀스 모델링에 어떻게 기여하는가?
• RQ3 에디트 트리와 히우리즘 가지치기를 포함한 새로운 데이터 구조를 사용해, 세제곱 시간 복잡도의 모티프 정렬을 어느 정도 감소시킬 수 있는가?
• RQ4 모델이 비트리비얼한 모티프 변형(예: 옮김, 다이아토닉 이동)을 탐지할 수 있는 능력이, 표준 기준 대비 더 나은 생성 품질과 낮은 로그우도를 이끌어내는가?

주요 결과

• MotifNet은 네 개의 심볼릭 음악 데이터셋(JBM, MUS, NOT, PMD) 전반에서 강력한 스태킹된 LSTMs 기준선을 능가하며, 테스트 세트의 음수 로그우도가 낮아졌다.
• JBM 데이터셋에서 MotifNet은 음수 로그우도 1.77을 기록했으며, 이는 짧은 시퀀스와 제한된 자기 유사성에도 불구하고 LSTMs의 1.82보다 우수한 성능이다.
• PMD 데이터셋에서 MotifNet은 음수 로그우도 1.90을 기록했고, LSTMs의 2.67보다 유의미한 향상이 있었다. 이는 더 길고 복잡한 곡에서의 성능 향상을 보여준다.
• 모델의 성능는 하이퍼파ram터 튜닝에 대해 강건하다: $n_{\text{priority}}$를 늘일수록 계산 시간과 정확도 사이의 트레이드오프가 발생하며, 256일 때도 아직 성능이 포화에 도달하지 않았다.
• 소프트맥스를 사용한 아블레이트드 스코어링 버전은 편향 없는 허브러 손실을 사용한 기본 방식보다 성능이 열 劣하므로, 미분 가능한 스코링 함수의 선택이 성능에 결정적인 영향을 미친다.
• 모델가 $d_{\text{max}}=5$(모티프 정렬을 다섯 번의 편집 연산으로 제한)에서 성공을 거둔 것은 짧은 모티프 정렬조차도 충분한 구조를 포착해 LSTMs를 능가할 수 있음을 시사한다.