[논문 리뷰] Conditional Rap Lyrics Generation with Denoising Autoencoders

Nikola I. Nikolov, Eric Malmi외 2명|arXiv (Cornell University)|2020. 04. 08.

Topic Modeling참고 문헌 23인용 수 4

한 줄 요약

이 논문은 뉴스 기사나 요약과 같은 랩이 아닌 입력 텍스트에서 일관되고 운을 맞춘 랩 가사를 생성하기 위해 트랜스포머 기반의 노이즈 제거 오토인코더를 제안한다. 내용어를 추출하고 BERT 기반의 다의어 표현을 활용해 운을 강화함으로써, 이 방법은 운의 빈도를 10% 향상시키며 강력한 내용 보존 및 스타일 전이 성능을 달성하여 인간 평가에서 정보 검색 기반 모델보다 뛰어난 성능을 보였다.

ABSTRACT

We develop a method for automatically synthesizing a rap verse given an input text written in another form, such as a summary of a news article. Our approach is to train a Transformer-based denoising autoencoder to reconstruct rap lyrics from content words. We study three different approaches for automatically stripping content words that convey the essential meaning of the lyrics. Moreover, we propose a BERT-based paraphrasing scheme for rhyme enhancement and show that it increases the average rhyme density of the lyrics by 10%. Experimental results on three diverse input domains -- existing rap lyrics, news, and movie plot summaries -- show that our method is capable of generating coherent and technically fluent rap verses that preserve the input content words. Human evaluation demonstrates that our approach gives a good trade-off between content preservation and style transfer compared to a strong information retrieval baseline.

연구 동기 및 목표

• 뉴스 기사나 요약과 같은 랩이 아닌 텍스트 입력으로부터 스타일적으로 정확한 랩 가사를 생성하는 방법을 개발하는 것.
• 원본 텍스트의 핵심 의미를 유지하면서 이를 운을 맞춘 리듬감 있는 랩 시로 변환하는 것.
• BERT 기반의 다의어 표현 기법을 통해 생성된 가사의 운 빈도를 향상시키는 것.
• 랩 생성에서 내용 보존과 스타일 전이 간의 상호보완적 관계를 평가하는 것.
• 인간 평가를 통해 제안된 방법을 강력한 정보 검색 기반 모델과 비교하는 것.

제안 방법

• 트랜스포머 기반의 노이즈 제거 오토인코더를 훈련시켜 원래 가사에서 추출한 내용어만 포함된 마스킹된 버전으로부터 전체 랩 가사를 재구성하도록 한다.
• 의미 보존과 스타일 전이를 가능하게 하기 위해 핵심적인 역할을 하는 내용어를 분리하는 데 세 가지 별도의 접근 방식을 평가한다.
• 생성된 가사에 BERT 기반의 다의어 표현 기법을 적용하여 문장을 재구성함으로써 더 많은 운을 포함하도록 하여 운의 빈도를 향상시킨다.
• 일반화 능력을 평가하기 위해 기존 랩 가사, 뉴스 기사, 영화 줄거리 세 가지 입력 도메인에서 모델을 피지컬 튜닝한다.
• 기능어와 구조적 요소를 제거하고 문장에서 가장 의미 있는 용어를 식별하는 자연어 처리 기법을 사용해 내용어를 추출한다.
• 최종 출력은 마스킹된 입력을 노이즈 제거 오토인코더를 통해 재구성함으로써 유창하고 운을 맞춘 랩 시를 생성한다.

실험 결과

연구 질문

• RQ1 노이즈 제거 오토인코더는 다양한 유형의 입력에서 추출한 내용어로부터 일관되고 유창한 랩 가사를 효과적으로 재구성할 수 있는가?
• RQ2 BERT 기반의 다의어 표현 기법은 생성된 랩 가사의 운 빈도를 어느 정도 향상시키는가?
• RQ3 제안된 방법은 원본 입력의 내용을 얼마나 잘 보존하면서도 랩 스타일로 전이하는가?
• RQ4 내용 충실도와 스타일 품질 측면에서 제안된 방법은 정보 검색 기반 모델과 비교해 어떤가?
• RQ5 뉴스, 영화 줄거리, 기존 랩 가사와 같은 다양한 입력 도메인으로 일반화되는가?

주요 결과

• 제안된 방법은 세 가지 다양하고 복잡한 도메인에서 입력 텍스트의 본질적 내용을 유지하면서도 일관되고 기술적으로 유창한 랩 시를 성공적으로 생성하였다.
• BERT 기반의 다의어 표현 기법은 기준 생성 대비 평균적으로 10% 높은 운 빈도를 달성하였다.
• 인간 평가를 통해 제안된 방법이 정보 검색 기반 모델보다 내용 보존과 스타일 전이 간의 균형을 더 잘 달성하는 것으로 확인되었다.
• 모델은 기존 랩 가사 외에도 뉴스 기사와 영화 줄거리에서 높은 품질의 출력을 생성함으로써 강력한 일반화 능력을 보였다.
• 내용어 추출 방법이 생성된 가사의 품질에 상당한 영향을 미쳤으며, 가장 성능이 뛰어난 방법이 더 명확한 의미 유지 기능을 가능케 하였다.