[논문 리뷰] Encoding Musical Style with Transformer Autoencoders

Kristy Choi, Curtis Hawthorne외 3명|arXiv (Cornell University)|2019. 12. 10.

Music and Audio Processing참고 문헌 35인용 수 9

한 줄 요약

이 논문은 Transformer 인코더에서 유역된 시간적 표현을 종합하여 음악 연주 스타일의 전역적이고 비지도 학습된 표현을 학습하는 순차적 오토인코더 모델인 Transformer 오토인코더를 제안한다. 이 전역적 스타일 코드를 멜로디 임베딩과 조합함으로써, 단일 입력 연주 스타일과 일치하는 제어 가능한 음악 생성이 가능해지며, MAESTRO 및 대규모 유튜브 피아노 데이터셋에서 기준 모델 대비 향상된 로그우도 점수와 청취자 선호도 점수를 달성한다.

ABSTRACT

We consider the problem of learning high-level controls over the global structure of generated sequences, particularly in the context of symbolic music generation with complex language models. In this work, we present the Transformer autoencoder, which aggregates encodings of the input data across time to obtain a global representation of style from a given performance. We show it is possible to combine this global representation with other temporally distributed embeddings, enabling improved control over the separate aspects of performance style and melody. Empirically, we demonstrate the effectiveness of our method on various music generation tasks on the MAESTRO dataset and a YouTube dataset with 10,000+ hours of piano performances, where we achieve improvements in terms of log-likelihood and mean listening scores as compared to baselines.

연구 동기 및 목표

• 기호 음악 생성 분야에서 생성된 음악 시퀀스에 대한 고수준의 전역적 제어를 학습하는 데 도전하는 것.
• 명시적인 애너테이션이나 레이블 없이도 주어진 연주 스타일과 일치하는 제어 가능한 음악 생성을 가능하게 하는 것.
• 전역적 스타일 표현과 세부적인 멜로디 조건부 표현을 융합하여 더 나은 제어 능력을 확보하는 방법을 개발하는 것.
• 대규모 피아노 연주 데이터셋에서의 정량적 지표와 정성적 청취 실험을 통해 접근 방식의 유효성을 검증하는 것.

제안 방법

• 모델은 입력 MIDI 시퀀스를 처리하고, 각 토큰에서 시간적 임베딩을 추출하기 위해 Transformer 인코더를 사용한다.
• 이 시간적 임베딩들을 시퀀스 전반에 걸쳐 학습 가능한 전역 풀링 메커니즘을 사용해 종합하여 압축된 전역 스타일 표현을 형성한다.
• 이 전역 스타일 코드는 새로운 멜로디 입력에 조건부인 별도의 멜로디 임베딩과 조합된다.
• 결합된 표현은 Transformer 디코더에 입력되어 스타일과 새로운 멜로디 모두에 부합하는 새로운 음악을 생성한다.
• 모델는 기호 음악 시퀀스에서 자동회귀 언어 모델링 목표를 사용해 엔드 투 엔드로 훈련된다.
• 모델는 인코더와 디코더 양쪽에서 상대적 위치 주의를 활용하여 장기적인 음악적 구조와 주기성을 유지한다.

실험 결과

연구 질문

• RQ1 신경 오토인코더는 비지도 방식으로 음악 연주 스타일에 대한 의미 있는 전역 표현을 학습할 수 있는가?
• RQ2 학습된 전역 스타일 표현은 새로운 멜로디와 효과적으로 조합되어 일관되고 스타일적으로 일관된 음악을 생성할 수 있는가?
• RQ3 전역 스타일과 국소적 멜로디 조건부 표현의 융합은 기준 모델 대비 생성 품질을 향상시키는가?
• RQ4 모델는 단일 입력 예시만으로도 새로운 스타일에 일반화하고 적응할 수 있는가?

주요 결과

• Transformer 오토인코더는 MAESTRO 및 유튜브 피아노 연주 데이터셋 양쪽에서 기준 모델 대비 더 높은 로그우도 점수를 기록했다.
• 청취자 청취 실험에서, 모델가 생성한 샘플은 기준 모델 대비 입력 스타일과의 청각적 유사도에서 유의미하게 높은 평가를 받았다.
• 모델는 주어진 연주 스타일에 맞게 새로운 멜로디를 조화롭게 통합하여, 스타일과 멜로디 제어의 효과적인 분리가 이루어졌음을 입증했다.
• 보간 실험 결과, 서로 다른 연주 스타일 간에 매끄럽고 청각적으로 의미 있는 전이가 이루어졌으며, 분리된 표현의 타당성이 검증되었다.
• 단일 입력 연주로만 조건부 설정된 경우에도 모델는 기준 모델을 능가하는 성능을 보이며, 강력한 소수 샘플 적응 능력을 입증했다.
• 노트 기반 기능 분석과 정성적 평가를 통한 검증을 통해, 모델는 입력 연주 스타일과 높은 청각적 유사도를 갖는 음악 생성 능력을 입증했다.