[논문 리뷰] Drum Beats and Where To Find Them: Sampling Drum Patterns from a Latent Space

Alexey Tikhonov, Ivan P. Yamshchikov|arXiv (Cornell University)|2020. 01. 01.

Music and Audio Processing참고 문헌 24인용 수 1

한 줄 요약

이 논문은 드럼 패턴의 대규모 데이터셋을 소개하고, 드럼 패턴 생성을 위한 분리된, 보간 가능한 잠재 공간을 학습하기 위해 적대적으로 제약을 둔 오토인코더(ACAI)를 제안한다. 표준 변동형 오토인코더(VAE)에 비해 ACAI는 더 일관되고 장르가 다양한 드럼 패턴을 생성하며, ACAI를 드럼 패턴 합성에 적용한 최초의 사례로, 정성적이고 구조적인 결과에서 뛰어난 성능을 보인다.

ABSTRACT

This paper presents a large dataset of drum patterns and compares two different architectures of artificial neural networks that produce latent explorable spaces with some recognizable genre areas. Adversarially constrained autoencoder interpolations (ACAI) show better results in comparison with a standard variational autoencoder. To our knowledge, this is the first application of ACAI to drum-pattern generation.

연구 동기 및 목표

• 음악 생성 연구를 위한 대규모이고 다양한 드럼 패턴 데이터셋을 구축하기 위해.
• 적대적으로 제약을 둔 오토인코더(ACAI)가 표준 변동형 오토인코더보다 더 분리되고 해석 가능한 드럼 패턴의 잠재 공간을 학습할 수 있는지 조사하기 위해.
• 보간과 잠재 공간 탐색을 통해 생성된 드럼 패턴의 품질과 장르 일관성을 평가하기 위해.
• 드럼 패턴 모델링에서 구조적이고 음악 전용 시퀀스 생성을 위해 ACAI를 사용하는 가능성과 이점을 입증하기 위해.

제안 방법

• 저자들은 다양한 장르의 실제 드럼 패턴을 수집하고 정제하여 대규모 데이터셋을 구축한다.
• 저희는 드럼 패턴 데이터셋에 표준 변동형 오토인코더(VAE)와 적대적으로 제약을 둔 오토인코더(ACAI)를 훈련시어 잠재 표현을 학습한다.
• ACAI는 품질과 다양성을 향상시키기 위해 판별망 네트워크를 통합하여, 현실적이며 의미 있는 보간을 유도한다.
• 두 모델 모두에서 잠재 공간 보간을 수행하여 생성된 패턴의 매끄럽고 음악적으로 일관된 성격을 평가한다.
• 생성된 패턴의 정성적 분석과 그 장르 일치도를 통해 모델을 평가한다.
• 잠재 공간을 탐색하여 명백한 장르 특성과 관련된 클러스터와 전이를 식별한다.

실험 결과

연구 질문

• RQ1 ACAI를 통해 학습된 잠재 공간은 표준 VAE에 비해 더 일관되고 다양한 드럼 패턴을 생성할 수 있는가?
• RQ2 ACAI의 잠재 공간은 청각적으로 인지 가능한 음악적 전이를 보이는 드럼 패턴 간의 의미 있는 보간을 가능하게 하는가?
• RQ3 다양한 음악 장르에 해당하는 명백하고 의미 있는 클러스터가 잠재 공간에 존재하는가?
• RQ4 적대적 훈련이 학습된 드럼 패턴 표현의 품질과 분리도를 어떻게 향상시키는가?

주요 결과

• ACAI 모델은 표준 VAE에 비해 더 일관되고 음악적으로 타당한 드럼 패턴 보간을 생성한다.
• ACAI 모델의 잠재 공간은 장르별로 더 명확한 클러스터링을 보이며, 음악적 특성의 더 나은 분리도를 나타낸다.
• ACAI 공간 내 보간은 일관된 리듬과 장르 특성 유지가 가능한 매끄러운 전이를 유도한다.
• ACAI 모델은 리듬의 통합성과 장르 일관성을 유지하면서도 새로운 현실적인 드럼 패턴을 더 뛰어난 능력으로 생성한다.