[논문 리뷰] Vector Quantized Contrastive Predictive Coding for Template-based Music Generation

Gaëtan Hadjeres, Léopold Crestel|arXiv (Cornell University)|2020. 04. 21.

Music and Audio Processing참고 문헌 39인용 수 11

한 줄 요약

이 논문은 자율학습 방법인 벡터 양자화 대비 예측 코딩(VQ-CPC)을 제안하며, 바흐의 차로일에서와 같은 의미 있는 구조 단위(예: 박자)를 코드북에 클러스터링하여 음악적 시퀀스의 이산적이고 해석 가능한 표현을 학습한다. 대비 손실을 통해 정보 내용을 제어하고, 트랜스포머 디코더에 맞춤형 어텐션 메커니즘을 사용함으로써, 감각적으로 유사성을 유지하면서도 감독이나 주석 없이도 고품질의 일관된 음악적 변형을 생성한다.

ABSTRACT

In this work, we propose a flexible method for generating variations of discrete sequences in which tokens can be grouped into basic units, like sentences in a text or bars in music. More precisely, given a template sequence, we aim at producing novel sequences sharing perceptible similarities with the original template without relying on any annotation; so our problem of generating variations is intimately linked to the problem of learning relevant high-level representations without supervision. Our contribution is two-fold: First, we propose a self-supervised encoding technique, named Vector Quantized Contrastive Predictive Coding which allows to learn a meaningful assignment of the basic units over a discrete set of codes, together with mechanisms allowing to control the information content of these learnt discrete representations. Secondly, we show how these compressed representations can be used to generate variations of a template sequence by using an appropriate attention pattern in the Transformer architecture. We illustrate our approach on the corpus of J.S. Bach chorales where we discuss the musical meaning of the learnt discrete codes and show that our proposed method allows to generate coherent and high-quality variations of a given template.

연구 동기 및 목표

• 감독이나 주석이 필요 없이 템플릿 시퀀스 기반 음악적 변형을 생성하는 자율학습 방법을 개발하는 것.
• 의미 있는 부분 시퀀스를 이산 코드북에 클러스터링하여 구조적 이산 시퀀스(예: 음악의 박자 또는 문장)의 고수준이고 분리된 표현을 학습하는 것.
• 대비 예측 코딩 목표를 통해 학습된 이산 표현의 정보 내용을 조절하여 제어 가능한 생성을 가능하게 하는 것.
• 이산 코드 시퀀스에 효과적으로 조건을 부여하여 일관되고 고해상도의 생성을 가능하게 하는 트랜스포머 디코더 내 전용 어텐션 메커니즘을 설계하는 것.
• 제시된 방법이 심벌 음악 생성에 대해 J.S. 바흐의 차로일을 사용하여 효과적으로 작동함을 보여주며, 감각적으로 의미 있고 음악적으로 일관된 변형을 생성하는 것.

제안 방법

• 이 방법은 부분 시퀀스의 문맥 표현을 학습하기 위해 대비 예측 코딩(CPC) 프레임워크를 사용한 후, 이들을 이산 코드북으로 매핑하기 위해 벡터 양자화(VQ)를 적용한다.
• 부하된 표현이 미래의 부분 시퀀스를 예측할 수 있도록 보장하기 위해 노이즈 대비 추정(NCE) 손실이 적용되어 의미 있는 클러스터링을 촉진한다.
• 모든 코드를 사용하도록 유도하기 위해 코드북은 유지를 위한 손실을 통해 훈련되며, 이는 빈 클러스터가 없고 표현 학습이 안정적임을 보장한다.
• 이산 코드는 트랜스포머 디코더에서 조건으로 사용되며, 수정된 멀티헤드 자기어텐션 메커니즘이 효율적이고 일관된 자동회귀 생성을 가능하게 한다.
• 모델은 엔드 투 엔드로 훈련된다: 인코더가 입력 시퀀스에서 표현을 추출하고, 이를 벡터 양자화하여 이산 코드로 변환한 후, 디코더가 이러한 코드에 조건을 부여하여 새로운 시퀀스를 생성한다.
• 데이터 증강이나 보조 작업이 필요 없음에도 불구하고, 대비 목표만으로도 이동 불변성과 감각적으로 의미 있는 클러스터를 학습한다.

실험 결과

연구 질문

• RQ1 감독이나 주석 없이도 자율학습 표현 학습 방법이 템플릿 시퀀스의 음악적으로 일관된 변형을 생성할 수 있는가?
• RQ2 이산 표현의 정보 내용을 어떻게 제어하여 의미 있는 변형 생성을 가능하게 할 수 있는가?
• RQ3 벡터 양자화와 대비 예측 코딩을 조합하면 바흐의 차로일에서와 같은 음악적 시퀀스의 바레벨 구조와 같은 이해 가능한 고수준 추상화를 생성할 수 있는가?
• RQ4 트랜스포머 디코더 내 전용 어텐션 메커니즘이 이산 코드 시퀀스에 조건을 부여함으로써 생성된 변형의 품질과 일관성을 향상시키는가?
• RQ5 학습된 이산 코드는 음악 맥락에서 의미 있고 감각적으로 해석 가능한가? 예를 들어, 음계나 음역을 인코딩하는가?

주요 결과

• VQ-CPC 모델은 명시적 감독 없이도 감각적으로 의미 있는 음악적 특징, 예를 들어 음계나 소프라노 음역을 나타내는 이산 코드를 성공적으로 학습한다.
• 모델은 원본 템플릿와 조화적이고 구조적인 유사성을 유지하면서도 고품질의 일관된 바흐의 차로일 변형을 생성한다.
• 이산 코드북은 완전히 활용되며, 빈 클러스터가 없어, 벡터 양자화와 대비 손실을 통한 안정적이고 효과적인 표현 학습이 이루어짐을 보여준다.
• 대비 목표를 통해 표현의 정보 내용을 조절할 수 있는 제어 가능한 생성이 가능하며, 마스크 크기와 같은 보조 손실이나 하이퍼파라미터가 필요 없이도 성취된다.
• 제안된 트랜스포머 디코더 내 어텐션 메커니즘은 이산 코드 시퀀스에 조건을 부여함으로써 효율적이고 일관된 자동회귀 생성을 가능하게 하여, 기준 모델 대비 정성적 일관성에서 뛰어난 성능을 보인다.
• 데이터 증강 없이도 모델은 이동 불변 클러스터를 학습하며, 표현 공간에서 음고 이동에 대한 강건성을 보여준다.