[논문 리뷰] Can GAN originate new electronic dance music genres? -- Generating novel rhythm patterns using GAN with Genre Ambiguity Loss

Nao Tokui|arXiv (Cornell University)|2020. 11. 25.

Music and Audio Processing참고 문헌 16인용 수 5

한 줄 요약

이 논문은 훈련 데이터에 포함된 어떤 장르에도 속하지 않는 새로운 일렉트로닉 댐프 밸런스 리듬 패턴을 생성하는 확장된 GAN 프레임워크인 Creative-GAN을 제안한다. 보조 판별기(secondary discriminator)를 통해 장르 모호성 손실(genre ambiguity loss)를 도입함으로써 생성기는 스타일적으로는 뚜렷하지만 음악적으로는 일관된 리듬 패턴을 생성하도록 유도된다. 이는 GAN 기반 기술이 단순 모방을 넘어서 새로운 음악 장르를 창출할 잠재력을 지닌다는 것을 보여준다.

ABSTRACT

Since the introduction of deep learning, researchers have proposed content generation systems using deep learning and proved that they are competent to generate convincing content and artistic output, including music. However, one can argue that these deep learning-based systems imitate and reproduce the patterns inherent within what humans have created, instead of generating something new and creative. This paper focuses on music generation, especially rhythm patterns of electronic dance music, and discusses if we can use deep learning to generate novel rhythms, interesting patterns not found in the training dataset. We extend the framework of Generative Adversarial Networks(GAN) and encourage it to diverge from the dataset's inherent distributions by adding additional classifiers to the framework. The paper shows that our proposed GAN can generate rhythm patterns that sound like music rhythms but do not belong to any genres in the training dataset. The source code, generated rhythm patterns, and a supplementary plugin software for a popular Digital Audio Workstation software are available on our website.

연구 동기 및 목표

• 기존 훈련 데이터에 포함된 어떤 일렉트로닉 댐프 밸런스 장르에도 속하지 않는, 실제감이 있고 동시에 스타일적으로 새로운 리듬 패턴을 생성할 수 있는지 여부를 탐구하는 것.
• 표준 GAN의 기존 장르 분포에서 벗어나지 못하는 한계를 해결하기 위해 학습 목표를 수정함으로써 진정으로 원본적인 콘텐츠를 생성하도록 유도하는 것.
• 실시간 리듬 생성을 가능하게 하기 위해 훈련된 모델을 DAW 플러그인에 통합함으로써 음악 프로듀서를 위한 실용적인 도구를 개발하는 것.
• 마이크로타이밍(micro-timing)이 생성된 리듬의 표현력과 '그루브감'을 향상시키는 데 미치는 영향을 탐구하며, 향후 모델 확장 가능성에 대한 시사점을 제공하는 것.

제안 방법

• 생성된 리듬 패턴의 장르를 분류하기 위해 보조 판별기 $D_{ ext{genre}}$ 를 도입하여 표준 GAN 프레임워크를 확장한다.
• 높은 신뢰도의 장르 예측을 방지하기 위해 장르 모호성 손실(genre ambiguity loss) 항목을 도입하며, 장르 분류 출력이 균일 분포(즉, 모호한 상태)일 때 최소화되도록 한다.
• 실제/가짜 판별기 ($D_r$)와 장르 분류기 ($D_{ ext{genre}}$)를 동시에 속이기 위해 생성기를 적대적으로 훈련하며, 적대적 손실과 장르 모호성 손실을 포함한 복합 손실 함수를 사용한다.
• 특정 장르 특성을 갖는 리듬 패턴의 조건부 생성을 가능하게 하기 위해 생성기의 입력으로 원-핫 인코딩된 장르 레이블을 사용한다.
• 리듬 패턴을 16분음표 해상도의 이진 온셋 행렬로 표현하고, 다양한 장르를 포함한 일렉트로닉 댐프 밸런스 리듬 데이터셋을 기반으로 모델을 훈련한다.
• TensorFlow.js를 사용하여 사전 훈련된 생성기의 Max for Live 플러그인을 구현함으로써, Ableton Live 환경 내에서 실시간 리듬 패턴 생성을 가능하게 한다.

실험 결과

연구 질문

• RQ1 GAN 기반 모델은 훈련 데이터에 존재하는 알려진 일렉트로닉 댐프 밸런스 장르 중 어느 것도 포함하지 않지만 음악적으로 일관된 리듬 패턴을 생성할 수 있는가?
• RQ2 보조 판별기를 통해 장르 모호성을 강제함으로써 생성기는 리듬 공간에서 기존에 알려지지 않은 새로운 스타일 영역을 탐색하는 데 유도되는가?
• RQ3 생성된 리듬의 통계적 특성은 실제 훈련 데이터와 비교해 볼 때 온셋 분포와 리듬 복잡도 측면에서 어떻게 다를까?
• RQ4 명시적인 노vla티비티(신규성)에 대한 지도 없이도 생성된 리듬 패턴이 인간 청취자에게 새로운 창작물로 인식될 수 있는가?
• RQ5 마이크로타이밍 정보는 생성된 리듬의 현실감과 표현력을 어느 정도 향상시키며, 이를 GAN 프레임워크에 어떻게 통합할 수 있는가?

주요 결과

• Creative-GAN 모델은 훈련 데이터에 포함된 모든 장르와 통계적으로 다름을 보이며, 평균 거리 지표를 통해 확인되었다.
• 생성된 패턴과 훈련 데이터 간의 평균 거리가 기준 랜덤 생성보다 유의미하게 높아, 모델이 단순 반복이나 내삽을 피하고 있음을 시사한다.
• 장르 모호성 손실은 장르 분류에 대한 신뢰도를 효과적으로 낮추었으며, 보조 판별기의 출력이 근사적으로 균일 분포를 이루었음을 확인하여, 모델이 명확한 장르 레이블을 부여하지 않음을 확인했다.
• 생성된 패턴의 평균 온셋 행렬은 훈련 데이터와 구조적 차이를 보였으며, 특히 리듬 조밀도와 온셋 군집도에서 뚜렷한 차이를 보여 새로운 리듬 구성 방식을 시사한다.
• 초기 결과로 마이크로타이밍 정보를 통합함으로써 장르 분류기의 성능 향상이 관찰되어, 마이크로타이밍이 스타일적 표현력을 향상시킨다는 점을 시사한다.
• 기능적으로 Ableton Live 플러그인이 성공적으로 구현되어 전문 DAW 환경 내에서 실시간으로 새로운 리듬 패턴을 생성할 수 있었으며, 이는 모델의 실용적 적용 가능성을 검증했다.