[논문 리뷰] Convolutional Generative Adversarial Networks with Binary Neurons for Polyphonic Music Generation

Hao‐Wen Dong, Yi‐Hsuan Yang|arXiv (Cornell University)|2018. 04. 25.

Music and Audio Processing인용 수 35

한 줄 요약

이 논문은 다항 음악을 위한 이진값 피아노롤을 직접 생성하기 위해 두 단계의 컨volutional GAN과 이진 뉴런을 제안한다. 이는 후처리를 필요로 하지 않으며, 결정론적 이진 뉴런을 사용해 트레이닝된 리파인어 네트워크를 통해 기존의 하드 스위치 또는 베르누이 샘플링 대비 뛰어난 음악 품질과 더 낮은 노트 분할 현상을 달성한다. 주관적 평가에서는 확률적 이진화보다 결정론적 이진화가 유리하다고 평가되었다.

ABSTRACT

It has been shown recently that deep convolutional generative adversarial networks (GANs) can learn to generate music in the form of piano-rolls, which represent music by binary-valued time-pitch matrices. However, existing models can only generate real-valued piano-rolls and require further post-processing, such as hard thresholding (HT) or Bernoulli sampling (BS), to obtain the final binary-valued results. In this paper, we study whether we can have a convolutional GAN model that directly creates binary-valued piano-rolls by using binary neurons. Specifically, we propose to append to the generator an additional refiner network, which uses binary neurons at the output layer. The whole network is trained in two stages. Firstly, the generator and the discriminator are pretrained. Then, the refiner network is trained along with the discriminator to learn to binarize the real-valued piano-rolls the pretrained generator creates. Experimental results show that using binary neurons instead of HT or BS indeed leads to better results in a number of objective measures. Moreover, deterministic binary neurons perform better than stochastic ones in both objective measures and a subjective test. The source code, training data and audio examples of the generated results can be found at https://salu133445.github.io/bmusegan/ .

연구 동기 및 목표

• 기존 GAN이 실수값 피아노롤을 생성하여 이진 출력을 얻기 위해 후처리가 필요하다는 한계를 해결하기 위해.
• 생성기의 출력층에 이진 뉴런을 사용할 경우 더 높은 품질의 음악적 일관성을 갖춘 다항 음악을 생성할 수 있는지 조사하기 위해.
• 객관적 지표와 주관적 인식 측면에서 결정론적 대비 확률적 이진 뉴런의 성능을 비교하기 위해.
• 생성기와 판별기의 사전 트레이닝 후 리파인어 네트워크를 트레이닝하는 두 단계 트레이닝 전략의 효과를 평가하기 위해.
• 다중 스트림, 공유/개별 판별기 설계가 음악 간 조화와 노트 품질에 미치는 영향을 탐색하기 위해.

제안 방법

• 두 단계 트레이닝 프로세스를 사용한다: 먼저 실수 피아노롤에서 생성기와 판별기를 사전 트레이닝한 후, 판별기를 활용해 리파인어 네트워크를 피지컬 트레이닝한다.
• 리파인어 네트워크는 출력층에서 결정론적 또는 확률적 이진 뉴런을 사용하여 실수값 생성기 출력에서 직접 이진값 피아노롤을 생성한다.
• 리파인어는 적대적 손실를 최소화하면서 출력이 이진화되도록 트레이닝되어, 이진화 과정을 학습 과정에 효과적으로 통합한다.
• 리파인어에서 훈련 안정성 향상과 특징 학습 향상을 위해 잔차 블록 아키텍처를 사용한다.
• 판별기는 다중 스트림 설계를 사용하여 공유 및 개별 브랜치를 통해 상호 트랙 조화와 온셋/제안 패턴을 모두 모델링한다.
• 생성기와 리파인어가 현실적이고 일관된 피아노롤 출력을 향해 유도하기 위해 적대적 손실와 복원 손실의 조합을 사용한다.

실험 결과

연구 질문

• RQ1 이진 뉴런을 사용해 GAN 모델이 후처리(예: 하드 스위치 또는 베르누이 샘플링) 없이 직접 이진값 피아노롤을 생성할 수 있는가?
• RQ2 결정론적 이진 뉴런을 사용할 경우 확률적 이진 뉴런 또는 전통적 후처리 방법 대비 더 나은 객관적 및 주관적 음악 품질을 달성하는가?
• RQ3 두 단계 트레이닝 전략이 음악 품질과 안정성 측면에서 공동 트레이닝 또는 종단 간 트레이닝보다 어떻게 비교되는가?
• RQ4 다중 스트림, 공유/개별 판별기 설계가 상호 트랙 조화와 노트 일관성에 어떤 영향을 미치는가?
• RQ5 학습 과정 중 이진 뉴런 통합이 음악적으로 관련된 특징에 집중함으로써 판별기의 실제 음악과 생성 음악을 구분하는 능력을 향상시키는가?

주요 결과

• 결정론적 이진 뉴런을 사용한 모델은 질적 노트 비율(QN) 0.81과 다항성도(PP) 0.68을 달성하여 기준 모델을 크게 능가했다.
• 결정론적 이진 뉴런 사용으로 인해 노트 분할 현상이 감소했으며, QN 0.81과 사용자 연구에서 44%의 선호도로 더 나은 노트 연속성을 보였다.
• 두 단계 트레이닝 전략은 공동 트레이닝 및 종단 간 트레이닝보다 우수했으며, 공동 전략은 10,000 스텝 이후 QN에서 성능 저하를 보였다.
• 제안된 다중 스트림 판별기 설계로 인해 상호 트랙 조화가 향상되어, Ablated-II 모델 대비 총 지속시간(TD) 지표가 12% 감소했다.
• 사용자 연구에서 84%의 참가자가 확률적 버전보다 결정론적 이진 뉴런 모델을 선호했으며, 특히 더 적은 분할된 노트를 언급했다.
• 결정론적 이진 뉴런을 사용한 모델은 전체 트레이닝 기간 동안 QN과 PP에서 일관된 향상을 유지했으며, 확률적 버전은 불안정성과 낮은 성능을 보였다.