[논문 리뷰] Learning long-term music representations via hierarchical contextual constraints

Shiqi Wei, Gus Xia|arXiv (Cornell University)|2022. 02. 13.

Music and Audio Processing인용 수 5

한 줄 요약

이 논문은 대비 학습과 계층적 미세조정을 통해 계층적 문맥 제약을 적용하여 문맥 기반으로 분리된 문장 수준의 음악 표현을 학습하는 이단계 프레임워크를 제안한다. 장기 표현이 단기 표현과 유사하도록 제약를 두고 하위 문장 표현의 복원을 강제함으로써 학습을 안정화시키고, 잠재 차원을 늘리지 않으면서도 문장 수준의 스타일 전이, 잠재 공간 내부 보간, 주제 변형에서 최고 성능을 달성한다.

ABSTRACT

Learning symbolic music representations, especially disentangled representations with probabilistic interpretations, has been shown to benefit both music understanding and generation. However, most models are only applicable to short-term music, while learning long-term music representations remains a challenging task. We have seen several studies attempting to learn hierarchical representations directly in an end-to-end manner, but these models have not been able to achieve the desired results and the training process is not stable. In this paper, we propose a novel approach to learn long-term symbolic music representations through contextual constraints. First, we use contrastive learning to pre-train a long-term representation by constraining its difference from the short-term representation (extracted by an off-the-shelf model). Then, we fine-tune the long-term representation by a hierarchical prediction model such that a good long-term representation (e.g., an 8-bar representation) can reconstruct the corresponding short-term ones (e.g., the 2-bar representations within the 8-bar range). Experiments show that our method stabilizes the training and the fine-tuning steps. In addition, the designed contextual constraints benefit both reconstruction and disentanglement, significantly outperforming the baselines.

연구 동기 및 목표

• 짧은 세그먼트를 넘는 장기적인 음악 표현을 안정적이고 분리된 방식으로 학습하는 데 도전한다.
• 장거리 음악 표현 학습에서 종단간 계층 모델의 불안정성과 열악한 성능을 극복한다.
• 피치와 리듬과 같은 제어 가능한 요소를 갖춘 문장 수준(예: 8마디 문장)에서 고품질이고 일관된 음악 생성을 가능하게 한다.
• 잠재 차원을 늘리지 않고도 의미 있고 해석 가능한 표현으로 모델을 이끄는 유도적 편향을 설계한다.
• 학습된 표현을 이용해 문장 수준의 스타일 전이, 잠재 인터폴레이션, 주제 변형을 구현한다.

제안 방법

• 문장 수준 표현과 마디 수준 표현 간의 차이를 최소화하기 위해 대비 손실을 사용해 문장 수준 표현을 사전 학습한다.
• EC²-VAE를 사용해 피치와 리듬을 위한 분리된 마디 수준 표현을 추출하여 지도로 활용한다.
• 문장 수준 코드에서 마디 수준 표현을 복원하는 계층적 예측 헤드를 사용해 모델을 미세조정한다.
• 사전 학습 및 미세조정 모두에서 구조적 InfoNCE 손실을 적용하여 학습을 안정화시키고 문맥 일관성을 강제한다.
• 초기 미세조정 단계에서 인코더를 고정하고 점차적으로 전체 네트워크를 미세조정하여 표현 품질을 향상시킨다.
• 리듬 요소의 보간에는 SLERP를 사용하고, 주제 변형에는 노이즈를 포함한 후행 분포 샘플링을 활용한다.

실험 결과

연구 질문

• RQ1 구조적 문맥 제약이 장기 음악 표현 모델의 학습을 안정화시킬 수 있는가?
• RQ2 장기 코드에서 단기 표현의 복원을 강제하면 분리도와 일관성이 향상되는가?
• RQ3 잠재 차원을 늘리지 않으면서도 문장 수준 표현이 고품질의 스타일 전이, 인터폴레이션, 주제 변형을 가능하게 하는가?
• RQ4 종단간 계층 모델과 비교해 제안된 방법은 안정성과 성능 측면에서 어떻게 다른가?
• RQ5 장기 표현은 단기 표현 모델보다 전반적인 구조와 국소적 일관성을 더 잘 모델링할 수 있는가?

주요 결과

• 제안된 방법은 8마디 문장에서 피치와 리듬 요소의 재구성과 분리도 측면에서 기준 모델을 크게 능가한다.
• 다른 작품 간 표현을 교환함으로써 문장 수준의 스타일 전이에서 최고 성능을 달성한다.
• SLERP를 통한 잠재 공간 보간은 전이 구간 동안조차도 일관된 멜로디를 생성하여 학습된 표현의 강력한 전역 일관성을 시사한다.
• 리듬 요소의 후행 분포 샘플링을 통한 주제 변형은 음악적으로 타당하고 부드러운 전이를 생성하여 리듬적 구조에 대한 제어력을 보여준다.
• 주관적 평가 결과, Hierarchical-EC²-VAE가 2마디 EC²-VAE보다 창의성, 자연스러움, 전반적인 음악성에서 유의미하게 높은 평점을 받았다(p < 0.05).
• 단지 마디 수준 표현만을 지도로 사용했음에도 불구하고, 인간이 작곡한 곡들과 비교해 경쟁적인 품질을 달성했으며, 특히 창의성 측면에서 뛰어난 성능을 보였다.