[논문 리뷰] DopeLearning: A Computational Approach to Rap Lyrics Generation

Eric Malmi, Pyry Takala외 3명|arXiv (Cornell University)|2015. 05. 18.

Music and Audio Processing참고 문헌 25인용 수 19

한 줄 요약

이 논문은 정보 검색 문제로써 랩 가사 생성을 다루는 DopeLearning을 제안한다. 이는 RankSVM과 새로운 딥 네트워크를 조합한 하이브리드 모델을 사용하여 의미 특징 학습을 수행한다. 이 시스템은 299개의 후보 중 진짜 다음 줄을 정확하게 식별하는 데 17%의 정확도를 달성했으며, 이는 랜덤 선택보다 50배 이상 높은 성능이며, 상위 인간 랩퍼들보다 21% 높은 뜻의 밀도를 기록했다. 사용자 선호도 로그를 통해 기계 학습된 순위와의 일치성이 확인되었다.

ABSTRACT

Writing rap lyrics requires both creativity to construct a meaningful, interesting story and lyrical skills to produce complex rhyme patterns, which form the cornerstone of good flow. We present a rap lyrics generation method that captures both of these aspects. First, we develop a prediction model to identify the next line of existing lyrics from a set of candidate next lines. This model is based on two machine-learning techniques: the RankSVM algorithm and a deep neural network model with a novel structure. Results show that the prediction model can identify the true next line among 299 randomly selected lines with an accuracy of 17%, i.e., over 50 times more likely than by random. Second, we employ the prediction model to combine lines from existing songs, producing lyrics with rhyme and a meaning. An evaluation of the produced lyrics shows that in terms of quantitative rhyme density, the method outperforms the best human rappers by 21%. The rap lyrics generator has been deployed as an online tool called DeepBeat, and the performance of the tool has been assessed by analyzing its usage logs. This analysis shows that machine-learned rankings correlate with user preferences.

연구 동기 및 목표

• 가사의 흐름과 의미 일관성을 모두 반영하는 계산적 랩 가사 생성 방법을 개발하는 것.
• 다음 줄 예측 작업을 정보 검색 문제로 모델링하는 것.
• 뜻의 밀도와 사용자 선호도 로그와 같은 정량적 지표를 사용하여 시스템 성능을 평가하는 것.
• 딥 네트워크에서 유도된 의미 임베딩이 의미적으로 일관되고 예술적으로 가치 있는 가사를 생성하는 데 기여하는 방식을 탐색하는 것.
• DeepBeat 웹 도구를 통해 실세계에 시스템을 구현하고 배포하여 인간 선호도와의 일치성을 평가하는 것.

제안 방법

• 시스템은 랩 가사 생성을 정보 검색 작업으로 프레임워크화한다: 주어진 라인 시퀀스(질의)에 대해 후보 풀에서 가장 관련성이 높은 다음 줄을 검색한다.
• 세 가지 유형의 특징을 추출한다: 뜻의 특징(음운적 및 패턴 기반), 구조적 특징(문법적 및 어휘적), 그리고 문장 임베딩을 위한 딥 네트워크를 사용한 의미 특징.
• 딥 네트워크는 가사를 고차원 벡터 공간으로 매핑하여 의미 유사도를 포착하며, 이는 모델에서 가장 예측력 있는 특징이 된다.
• RankSVM 모델은 이러한 특징을 조합하여 후보 다음 줄을 순위 매기며, 질의에 대한 관련성을 최적화한다.
• 모델은 104명의 아티스트에서 온 50만 개 이상의 랩 라인 데이터셋으로 훈련되었으며, 다음 줄 예측 정확도와 뜻의 밀도 지표를 통해 평가되었다.
• 시스템은 DeepBeat(deepbeat.org)로 배포되었으며, 사용자 로그 분석을 통해 기계 학습된 순위와 사용자 선호도 간의 상관관계를 검증하였다.

실험 결과

연구 질문

• RQ1 기계 학습 모델이 무작위 선택보다 뛰어난 정확도로 랩 곡의 다음 줄을 효과적으로 예측할 수 있는가?
• RQ2 의미 표현을 위한 딥 네트워크가 생성된 랩 가사의 일관성과 관련성에 얼마나 기여하는가?
• RQ3 생성된 가사가 뜻의 밀도와 같은 기술적 지표에서 인간 랩퍼를 뛰어넘는가? 그리고 인간 평가자들에 의해 더 높은 품질로 인식되는가?
• RQ4 실세계 배포 환경에서 기계 학습된 관련성 점수와 실제 사용자 선호도 간의 상관관계는 얼마나 높은가?
• RQ5 정보 검색 프레임워크가 랩 가사 작사와 같은 창작적 텍스트 생성 작업에 효과적으로 적용될 수 있는가?

주요 결과

• 모델은 299개의 무작위 후보 중 진짜 다음 줄을 식별하는 데 17%의 정확도를 달성했으며, 이는 랜덤 선택보다 50배 이상 높은 확률이다.
• 진짜 다음 줄이 상위 30% 후보에 포함된 정확도는 53%였으며, 이는 강력한 예측 성능을 보여준다.
• 시스템은 뜻의 밀도에서 최고의 인간 랩퍼들보다 21% 높은 성능을 기록했다. 이는 기술적 가사 품질의 정량적 측정치이다.
• 뜻의 밀도 지표는 인간 실험을 통해 검증되었으며, 랩퍼 자신의 기술 수준 평가와 강한 상관관계를 보였다.
• DeepBeat.org의 사용자 로그 분석 결과, 사용자가 선택한 라인이 모델의 예측 관련성 점수와 강하게 상관관계가 있었으며, 인간 선호도와의 실세계 일치성을 확인하였다.
• 의미 임베딩을 위한 딥 네트워크가 모델에서 가장 예측력 있는 특징으로 나타났으며, 이는 생성된 가사의 의미 일관성 유지를 위한 중요성을 입증한다.