[논문 리뷰] GANs & Reels: Creating Irish Music using a Generative Adversarial Network.

Antonina Kolokolova, Mitchell Billard외 6명|arXiv (Cornell University)|2020. 10. 29.

Music Technology and Sound Studies참고 문헌 20인용 수 7

한 줄 요약

이 논문은 순환 요소 없이 확장된 컨볼루션과 다중 척도 타워를 갖춘 비순환적이고 컨볼루션 기반의 생성적 적대 신경망(DCGAN)을 제안하여 고정 길이의 아일랜드 전통 리얼을 생성한다. 멜로디를 2차원 공간 표현으로 변환함으로써 모델은 장거리 음악적 의존성과 전반적인 구조를 포착하며, 훈련 데이터의 구절 유사도, 노트 분포, t-SNE 클러스터링 측면에서 RNN 기반 기준선보다 더 우수한 샘플을 생성한다.

ABSTRACT

In this paper we present a method for algorithmic melody generation using a generative adversarial network without recurrent components. Music generation has been successfully done using recurrent neural networks, where the model learns sequence information that can help create authentic sounding melodies. Here, we use DC-GAN architecture with dilated convolutions and towers to capture sequential information as spatial image information, and learn long-range dependencies in fixed-length melody forms such as Irish traditional reel.

연구 동기 및 목표

• 고정 길이의 구조적 멜로디, 예를 들어 아일랜드 리얼과 같은 것을 생성하기 위한 비순환적 딥 러닝 모델을 개발하는 것.
• 장거리 의존성을 더 잘 포착하기 위해 순환 요소를 공간적 2차원 표현으로 대체하는 것.
• 확장된 컨볼루션과 다중 척도 타워를 갖춘 DCGAN이 RNN 기반 멜로디 생성보다 구조적 일관성과 음악적 진정성 측면에서 동등하거나 이를 초월할 수 있는지 평가하는 것.
• 모델이 구절 반복, 변주, 키 중심 노트 분포와 같은 전반적인 음악적 구조를 학습하고 재현할 수 있는 능력을 평가하는 것.

제안 방법

• 수직 축이 구절의 시간적 정렬을, 가로 축이 순서를 나타내는 2차원 공간 표현으로 단성 멜로디를 변환하는 것.
• 장거리 의존성을 다양한 의미 척도(예: 바와 구절 길이)에서 포착하기 위해 확장된 컨볼루션을 사용하는 딥 컨볼루션 GAN(DCGAN) 아키텍처를 사용하는 것.
• 지역적 노트 패턴과 전반적인 구조적 관계를 모두 모델링하기 위해 다중 척도 타워와 확장된 컨볼루션을 갖춘 판별자 구현.
• 생성된 샘플, 훈련 데이터, 기준선 모델 샘플 간의 구절 임베딩 간 프리에치 거리(Fréchet distance)를 정규화하여 구조적 유사도를 정량적으로 비교하는 것.
• 분포 유사도를 비교하기 위해 퍼플렉서티=50로 t-SNE 시각화를 적용하는 것.
• MIDI 키 값에서의 노트 빈도 분포를 분석하여 키 중심성 준수와 온도 척도 준수 정도를 평가하는 것.

실험 결과

연구 질문

• RQ1 비순환적 CNN 기반 GAN이 순환 요소 없이 아일랜드 리얼과 같은 구조적 고정 길이 멜로디를 효과적으로 생성할 수 있는가?
• RQ2 판별자에서 확장된 컨볼루션과 다중 척도 타워를 사용할 경우 RNN에 비해 장거리 음악적 의존성을 얼마나 잘 포착하는가?
• RQ3 생성된 멜로디가 구절 반복(AABB 형식), 톤이 중심이 되는 강조, 키 중심 노트 분포와 같은 전반적인 구조적 특징을 어느 정도 유지하는가?
• RQ4 프리에치 거리와 t-SNE 시각화를 통해 생성 샘플이 훈련 데이터와 RNN 기반 기준선과 비교할 때 분포 유사도 측면에서 어떻게 평가되는가?

주요 결과

• 제안된 DCGAN 모델은 구절 간 정규화된 프리에치 거리가 훈련 데이터와 Folk-RNN 기준선과 유사하여 강력한 구조적 충실도를 보여준다.
• t-SNE 시각화 결과, DCGAN이 생성한 멜로디의 75% 이상이 훈련 데이터의 분포 내에 위치해 있어 높은 분포 유사도를 나타낸다.
• 모델은 키 중심 노트 분포를 성공적으로 재현하였으며, D 메이저에서 톤의 톤(도)와 3도/5도 스케일 도시가 가장 빈번하게 나타나, 음악 이론과 훈련 데이터의 특성과 일치한다.
• 매그나 모델은 더 균일한 노트 빈도 분포를 보이는 반면, DCGAN과 Folk-RNN 모델은 D 메이저에서 기대되는 톤 계층 구조에 부합하는 노트 분포를 생성한다.
• AABB 구절 구조(즉, 반복되는 부분)로의 경향성이 더 강해, 구절 3–4 간의 프리에치 거리가 낮고, 구절 1–3 간의 거리가 높아 구조적 일관성을 확인한다.
• 더 작은 모델임에도 불구하고, 국소적 노트 패턴과 전반적인 구조적 관계를 모두 RNN 기준선과 동등하거나 더 잘 포착함으로써 DCGAN 모델은 뛰어난 성능을 기록한다.