[논문 리뷰] Multi-Instrumentalist Net: Unsupervised Generation of Music from Body Movements

Kun Su, Xiulong Liu외 1명|arXiv (Cornell University)|2020. 12. 07.

Music and Audio Processing참고 문헌 45인용 수 13

한 줄 요약

이 논문은 Multi-Instrumentalist Net(MI Net)을 제안하며, 레이블이 없는 연주자 영상의 신체 운동 키포인트만을 기반으로 다중 악기 음악을 생성하는 비지도 딥러닝 시스템이다. VQ-VAE와 신체 키포인트에 조건부된 순환형 사전 분포를 조합함으로써, 레이블이 없는 악기 데이터가 있어도 악기 톤의 분리가 가능하며, 고해상도의 악기별 음악을 생성한다. '실생활' 영상에서 악기 분류 정확도가 61.5%에 도달하였다.

ABSTRACT

We propose a novel system that takes as an input body movements of a musician playing a musical instrument and generates music in an unsupervised setting. Learning to generate multi-instrumental music from videos without labeling the instruments is a challenging problem. To achieve the transformation, we built a pipeline named 'Multi-instrumentalistNet' (MI Net). At its base, the pipeline learns a discrete latent representation of various instruments music from log-spectrogram using a Vector Quantized Variational Autoencoder (VQ-VAE) with multi-band residual blocks. The pipeline is then trained along with an autoregressive prior conditioned on the musician's body keypoints movements encoded by a recurrent neural network. Joint training of the prior with the body movements encoder succeeds in the disentanglement of the music into latent features indicating the musical components and the instrumental features. The latent space results in distributions that are clustered into distinct instruments from which new music can be generated. Furthermore, the VQ-VAE architecture supports detailed music generation with additional conditioning. We show that a Midi can further condition the latent space such that the pipeline will generate the exact content of the music being played by the instrument in the video. We evaluate MI Net on two datasets containing videos of 13 instruments and obtain generated music of reasonable audio quality, easily associated with the corresponding instrument, and consistent with the music audio content.

연구 동기 및 목표

• 레이블이 없는 연주자 영상에서 악기 연주를 수행하는 단일 통합 모델을 개발하여 악기 레이블이 필요 없도록 한다.
• 신체 운동의 시각적 특징에서 음악적 요소(예: 톤, 음고, 리듬)를 비지도 방식으로 분리한다.
• 공유된 잠재 공간에서 신체 운동과 오디오 특징 간의 상관관계를 학습함으로써 현실적이고 악기별로 특화된 음악 생성을 가능하게 한다.
• MIDI 데이터를 조건으로 사용하여 영상 입력에서 정확한 음악 구간을 재현할 수 있도록 한다.
• 스튜디오 녹음 영상과 '실생활' 영상 모두에서 모델 성능을 평가하여 일반화 능력과 강인성을 평가한다.

제안 방법

• 시스템은 오디오의 로그 스펙트로그램의 이산 잠재 표현을 학습하기 위해 다중 대역 잔차 블록을 사용하는 VQ-VAE를 사용하며, 고해상도 오디오 재구성을 가능하게 한다.
• 순환 신경망은 영상 프레임의 신체 운동 키포인트를 시각적 맥락으로 사용하여 VQ-VAE의 사전 분포 네트워크를 인코딩한다.
• 사전 분포 네트워크는 VQ-VAE와 함께 공동으로 훈련되어 신체 운동과 오디오 표현 간의 종속성을 모델링함으로써 잠재 특징을 악기별로 분리한다.
• 컨텐츠 인코더로 트랜스포머 기반 아키텍처를 도입하여 사전 분포를 MIDI 데이터에 조건부로 설정함으로써 정확한 음악 재생이 가능하다.
• 모델은 악기 레이블이 없는 환경에서 엔드 투 엔드로 비지도 방식으로 훈련된다.
• 학습된 사전 분포에서 잠재 벡터를 샘플링하고 VQ-VAE를 통해 디코딩하여 새로운 음악 시퀀스를 생성한다.

실험 결과

연구 질문

• RQ1 단일 비지도 모델이 레이블이 없는 연주자 영상에서 고해상도의 악기별 음악을 생성할 수 있는가?
• RQ2 오디오 레이블이 없더라도 신체 운동 키포인트만으로도 음악 톤을 분리하고 해소할 수 있는가?
• RQ3 VQ-VAE와 운동 조건부 사전 분포의 공동 훈련이 의미 있는 분리된 악기 표현을 학습하는 데 얼마나 효과적인가?
• RQ4 MIDI를 추가 조건으로 사용할 경우, 모델이 연주 내용을 얼마나 정확히 재현할 수 있는가?
• RQ5 모델은 카메라 각도와 주체의 다양성이 있는 '실생활' 영상에 대해 얼마나 잘 일반화되는가?

주요 결과

• MI Net은 URMP 및 Solos 데이터셋에서 각각 93.7%와 61.5%의 KNN 분류 정확도를 기록하여 악기별 특징의 강력한 분리가 이루어졌음을 시사한다.
• 블라인드 테스트에서 인간 평가자 24%가 생성된 오디오 샘플을 실제 음악으로 판단하여 청각적 타당성이 입증되었다.
• 제거 실험 결과, 다중 대역 잔차 블록이 스펙트로그램 재구성 L2 손실을 0.89에서 0.78로 감소시켜 오디오 품질 향상을 입증했다.
• 트랜스포머 기반 컨텐츠 인코더는 음수 로그우도(NLL) 손실을 기존 GRU 기반 베이스라인의 2.93에서 2.55로 감소시켜 컨텐츠-잠재 특징 간 종속성 모델링의 향상을 보였다.
• 모델은 명시적 악기 레이블 없이도 영상의 악기와 오디오 콘텐츠에 일치하는 음악을 성공적으로 생성하였다.
• 스튜디오 데이터에선 뛰어난 성능를 보였지만, '실생활' 영상에선 높은 시각적·오디오 변동성으로 인해 일반화 능력에 한계가 있음을 확인하였다.