[논문 리뷰] C-RNN-GAN: Continuous recurrent neural networks with adversarial training

Olof Mogren|arXiv (Cornell University)|2016. 11. 29.

Generative Adversarial Networks and Image Synthesis참고 문헌 9인용 수 381

한 줄 요약

이 논문은 연속 시퀀스 데이터에 대해 생성적 적대 신경망(C-RNN-GAN)을 도입하며, MIDI-클래식 음악에 적용하고 연속 음 표현과 RNN을 사용하여 시퀀스의 결합 분포를 모델링합니다.

ABSTRACT

Generative adversarial networks have been proposed as a way of efficiently training deep generative neural networks. We propose a generative adversarial model that works on continuous sequential data, and apply it by training it on a collection of classical music. We conclude that it generates music that sounds better and better as the model is trained, report statistics on generated music, and let the reader judge the quality by downloading the generated songs.

연구 동기 및 목표

• 연속 데이터가 아닌 이산 토큰이 아닌 연속 데이터를 다루는 순차 모델에 대한 적대적 학습의 동기 부여와 평가를 수행한다.
• 연속적인 음악 이벤트의 시퀀스를 생성하는 end-to-end 학습 가능한 모델(C-RNN-GAN)을 입증한다.
• 다성화(polyphony), 음계 일관성, 음 영역과 같은 지표를 사용하여 생성된 음악의 품질을 평가한다.
• 출력에서의 다양성 및 구조를 가늠하기 위해 적대적 학습과 기저 모델(next-event 예측) 간의 비교를 수행한다.

제안 방법

• 생성기 G와 LSTM 네트워크로 구성된 양방향 판별기 D를 제안하여 연속 시퀀스 데이터를 모델링한다.
• 각 음악 이벤트를 음 길이, 주파수, 강도, 그리고 마지막 음 이후의 시간의 실제 값을 가지는 4요소로 표현한다.
• G의 GAN 목적 L_G = (1/m) sum log(1 - D(G(z))) 및 D의 GAN 목표 L_D = (1/m) sum [-log D(x) - log(1 - D(G(z)))] 로 정의하며 z는 균일한 무작위 입력이다.
• 다음 이벤트 예측에 대한 감독된 제곱 오차 손실로 G를 사전 학습한 다음, 커리큘럼 시퀀싱 및 미니배치 SGD를 사용하여 적대적 학습으로 전환한다.
• 다양성과 학습 안정을 촉진하기 위해 특징 일치를 대체 생성기 목적으로 사용한다.
• 유용한 그래디언트를 유지하기 위해 D의 손실이 G의 손실에 비해 임계값 이하로 떨어지면 D를 고정하는 등의 학습 요령을 도입한다.

실험 결과

연구 질문

• RQ1 적대적 학습이 음악과 같이 완전히 연속 시퀀스 데이터(이산 토큰이 아닌)에 대해 재귀 신경망에 효과적으로 적용될 수 있는가?
• RQ2 C-RNN-GAN이 순수하게 가능도 기반의 기저 모델보다 더 다양하고 다성음의 음악을 생성하는가?
• RQ3 시간 축마다 여러 음을 출력하는 것이 다성화와 음악적 다양성에 어떤 영향을 미치는가?
• RQ4 사전학습, 고정, 특징 매칭과 같은 학습 안정화 기법이 학습 역학 및 생성된 음악의 품질을 어떻게 개선하는가?

주요 결과

• 적대적 학습은 생성된 음악의 다양성을 증가시키며 음 폭과 강도 폭이 더 커진다.
• 각 LSTM 셀에서 최대 세 음을 출력하도록 허용하면 다성도 점수가 향상된다.
• 특징 매칭 및 신중한 학습 안정화가 생성 음악의 구조성 및 놀람의 균형을 더 잘 맞춘다.
• 생성된 음악은 기저 모델보다 실제 음악과 더 가까운 유사성을 보이지만 인간 평가 품질에는 아직 도달하지 못한다.
• 세 음을 셀당 출력하는 변형(CRNN-GAN-3)은 더 긴 학습 후 다성도 및 폭 지표에서 더 높은 성과를 달성한다.