[논문 리뷰] DeepDrum: An Adaptive Conditional Neural Network

Dimos Makris, Μάξιμος Καλιακάτσος-Παπακώστας외 1명|arXiv (Cornell University)|2018. 09. 17.

Music and Audio Processing참고 문헌 9인용 수 3

한 줄 요약

DeepDrum은 LSTM 레이어를 활용해 드럼 리듬 시퀀스를 학습하고, 베이스 및 기타 노트, 템포, 시간 signatures 등의 외부 음악적 제약 조건을 통합하는 피드포워드(조건부) 레이어를 조합한 적응형 조건부 신경망을 제안한다. 이 모델은 훈련 데이터 외부의 조건, 예를 들어 낯선 시간 signatures(예: 3/8, 9/8)에도 적응할 수 있으며, 스타일적으로 일관된 드럼 패턴을 생성함으로써 훈련 데이터를 초월한 강력한 일반화 능력을 보여준다.

ABSTRACT

Considering music as a sequence of events with multiple complex dependencies, the Long Short-Term Memory (LSTM) architecture has proven very efficient in learning and reproducing musical styles. However, the generation of rhythms requires additional information regarding musical structure and accompanying instruments. In this paper we present DeepDrum, an adaptive Neural Network capable of generating drum rhythms under constraints imposed by Feed-Forward (Conditional) Layers which contain musical parameters along with given instrumentation information (e.g. bass and guitar notes). Results on generated drum sequences are presented indicating that DeepDrum is effective in producing rhythms that resemble the learned style, while at the same time conforming to given constraints that were unknown during the training process.

연구 동기 및 목표

• 학습된 음악 스타일을 반영하면서도 외부 음악적 제약 조건에 적응할 수 있는 딥러닝 모델을 개발하는 것.
• 기존 모델들이 다른 악기나 구조적 요소와의 상호작용을 고려하지 않고 리듬을 독립적으로 생성하는 한계를 해결하는 것.
• 훈련 데이터에 존재하지 않은 조건, 예를 들어 새로운 시간 signatures(예: 3/8, 9/8)에서도 드럼 패턴을 생성할 수 있도록 하는 것.
• 과거와 미래의 음악적 맥락에 모두 반응할 수 있도록 함으로써 인간 드러머의 행동 방식을 시뮬레이션하는 것.

제안 방법

• 아키텍처는 세 개의 별도된 LSTM 블록을 사용하며, 각각 스네어, 베이스드럼, 하이햇과 같은 세 가지 드럼 구성 요소 유형을 예측하는 데 전용으로 할당된다. 이들은 드럼 이벤트 간의 순차적 의존성을 학습한다.
• 두 개의 피드포워드(FF) 모듈인 Pre-FF와 Post-FF가 조건부 입력을 처리하며, 이는 일괄 인코딩된 베이스, 기타, 템포, 메트릭스 구조, 시간 창 내 그룹화 정보를 포함한다.
• Pre-FF는 과거 음악 맥락을 처리하며, 각 드럼 입력 이전에 LSTM 블록에 연결된다. Post-FF는 현재 및 향후 정보를 처리하며, LSTM 출력에 연결된다.
• 모델은 256개의 은닉 유닛을 가진 두 개의 스태킹된 LSTM 레이어를 사용하며, 모든 연결에 드롭아웃 정규화(0.2)를 적용하고, FF 레이어에서는 ReLU 및 선형 활성화 함수를 사용한다.
• 조건부 입력은 일괄 인코딩 형식으로 표현되며, 이는 이동 윈도우를 통해 시간 단위의 맥락을 포괄하도록 처리된다.
• 최종 출력은 각 드럼 구성 요소별로 독립적인 소프트맥스 레이어를 통해 생성되며, 교차 엔트로피 손실을 사용한 엔드 투 엔드 학습이 가능하다.

실험 결과

연구 질문

• RQ1 딥 네트워크는 훈련 중에 관찰되지 않은 외부 음악적 제약 조건(예: 베이스, 기타, 템포, 시간 signatures)이 존재하더라도, 학습된 음악 스타일을 모방하면서도 이를 적응할 수 있는가?
• RQ2 모델은 훈련 데이터에 존재하지 않는 새로운 음악 조건, 예를 들어 낯선 시간 signatures(예: 3/8, 9/8)에 대해 얼마나 효과적으로 일반화할 수 있는가?
• RQ3 조건부 피드포워드 레이어의 포함 여부가 리듬적으로 일관되고 맥락에 부합하는 드럼 패턴 생성 능력 향상에 얼마나 기여하는가?
• RQ4 모델은 과거와 미래의 음악 이벤트(예: 템포 변화, 구절 경계)에 반응함으로써 인간 드러머의 행동 방식을 얼마나 잘 시뮬레이션할 수 있는가?

주요 결과

• DeepDrum은 훈련 데이터에 포함되지 않은 조건, 예를 들어 베이스 및 기타 음, 템포, 시간 signatures 등에도 불구하고 음악적 제약 조건을 충족하는 드럼 리듬을 성공적으로 생성하였다.
• t-SNE를 통한 전역 리듬 특징 시각화 결과, 학습된 음악 스타일에 가까운 클러스터링이 실제 훈련 스타일의 기준 예측값 근처에 집중되어 있어, 모델이 학습된 스타일을 잘 반영하고 있음을 확인하였다.
• 훈련 100 에포크 이후의 후기 생성 출력(PF–PT)은 기준 특징 분포에 더 가까운 경향을 보이며, 학습 및 일반화 능력 향상을 시사하였다.
• 디스코 스타일 곡(AB)에 대해서도 모델은 타당한 드럼 패턴을 생성하였으며, 훈련 과정을 거치면서 특징 분포가 목표 스타일 쪽으로 이동하는 경향을 보이며, 다장르적 적응 능력을 입증하였다.
• 조건부 피드포워드 레이어의 포함이 리듬적 일관성 유지 및 구절 경계, 템포 변화와 같은 구조적 변화에 대한 반응 능력 향상에 상당한 기여를 하였다.
• 모델는 기존에 접하지 않은 시간 signatures(예: 3/8, 9/8)를 처리하는 데 있어 뛰어난 강건성을 보였으며, 이는 조건부 입력이 훈련 분포를 초월한 일반화를 가능하게 한다는 것을 시사한다.