[논문 리뷰] Theme-aware generation model for chinese lyrics

Jie Wang, Xinyan Zhao|arXiv (Cornell University)|2019. 05. 23.

Topic Modeling참고 문헌 14인용 수 5

한 줄 요약

이 논문은 다중 채널 인코더와 주의 기반 디코딩을 통해 주제 정보를 통합함으로써 일관된 중화 가사를 생성하기 위한 주제 인식 시퀀스 투 시퀀스 모델을 제안한다. 모델은 전반적인 주제와 국소적 문장 맥락을 공동으로 인코딩하여 주제 일관성과 문법적 정확성을 향상시키며, LDA로 추출된 주제가 주석이 된 코퍼스에서 기존 모델들보다 뛰어난 성능을 달성한다.

ABSTRACT

With rapid development of neural networks, deep-learning has been extended to various natural language generation fields, such as machine translation, dialogue generation and even literature creation. In this paper, we propose a theme-aware language generation model for Chinese music lyrics, which improves the theme-connectivity and coherence of generated paragraphs greatly. A multi-channel sequence-to-sequence (seq2seq) model encodes themes and previous sentences as global and local contextual information. Moreover, attention mechanism is incorporated for sequence decoding, enabling to fuse context into predicted next texts. To prepare appropriate train corpus, LDA (Latent Dirichlet Allocation) is applied for theme extraction. Generated lyrics is grammatically correct and semantically coherent with selected themes, which offers a valuable modelling method in other fields including multi-turn chatbots, long paragraph generation and etc.

연구 동기 및 목표

• 중국어 음악을 위한 신경 가사 생성 모델에서 주제 일관성이 부족한 문제를 해결하기 위해.
• 시퀀스 생성 중에 명시적인 주제 정보를 통합하여 생성된 가사의 의미적 및 주제적 일관성을 향상시키기 위해.
• 전반적인 주제와 국소적 문장 맥락을 모두 인코딩하는 다중 채널 시퀀스 투 시퀀스 아키텍처를 개발하여 더 나은 맥락 이해를 위해.
• LDA를 사용하여 주제를 추출한 정제된 중국어 가사 데이터셋을 활용하여 모델을 훈련 및 평가하기 위해.
• 채팅 봇 및 장문 텍스트 생성과 같은 응용 분야에 적합한 문법적으로 정확하고 주제적으로 연결된 가사를 생성하는 데 모델의 효과성을 입증하기 위해.

제안 방법

• 한 채널은 입력 주제를, 다른 채널은 이전 문장을 국소적 맥락으로 인코딩하는 다중 채널 시퀀스 투 시퀀스 모델을 설계하였다.
• 입력 토큰에 대해 공유 임bedding 레이어를 사용하고, 양방향 LSTM 인코더를 적용하여 주제 및 문장 시퀀스의 장거리 의존성을 포착하였다.
• 디코딩 중에 주제 및 이전 문장 표현의 관련 부분에 동적으로 주의를 기울이는 주의 메커니즘을 적용하였다.
• 훈련을 위한 감독 신호를 제공하기 위해 대규모 중국어 가사 코퍼스에서 LDA(Latent Dirichlet Allocation)를 사용하여 주제를 추출하였다.
• 디코더는 주제 및 문장 인코딩에서 유도된 맥락 인식 맥락 벡터에 조건부로 토큰 단위로 가사를 생성한다.
• 일반화를 향상시키고 과적합을 줄이기 위해 레이블 스무딩을 적용한 교차 엔트로피 손실을 사용하여 엔드 투 엔드로 모델을 훈련시켰다.

실험 결과

연구 질문

• RQ1 명시적인 주제 통합이 생성된 중국어 가사의 주제 일관성을 향상시킬 수 있는가?
• RQ2 주제와 국소적 맥락을 다중 채널로 인코딩하는 방식이 생성된 가사의 품질과 일관성에 어떤 영향을 미치는가?
• RQ3 주의 기반 디코딩이 입력 주제에 대한 생성 텍스트의 관련성에 얼마나 기여하는가?
• RQ4 주제 인식 메커니즘이 없는 기존 시퀀스 투 시퀀스 모델에 비해 모델의 유창성과 일관성 측면에서 성능은 어떠한가?
• RQ5 다양한 주제에 조건을 주었을 때 모델은 문법적으로 정확하고 의미적으로 유의미한 가사를 생성할 수 있는가?

주요 결과

• 제안된 모델은 기존 시퀀스 투 시퀀스 모델에 비해 생성된 가사의 주제 일관성을 크게 향상시켰다.
• 인간 평가 결과, 모델은 더 높은 주제 일관성과 문법적 정확성을 가진 가사를 생성하는 것으로 나타났다.
• 주제 인식 인코딩의 통합은 생성 텍스트에서 더 관련성 있고 맥락에 적절한 단어 선택을 이끌어냈다.
• 주의 메커니즘은 주제 및 이전 문장의 중요한 부분에 효과적으로 집중하여 생성 품질을 향상시켰다.
• 자동 평가 지표(예: BLEU, ROUGE)와 주제 관련성에 대한 인간 평가 모두에서 주제 인식이 없는 기준 모델들보다 모델이 뛰어난 성능을 보였다.
• LDA 기반 주제 추출은 중국어 가사에서 의미 있는 주제를 성공적으로 식별하여 생성 모델에 효과적인 감독 신호를 제공하였다.