[論文レビュー] Theme-aware generation model for chinese lyrics

Jie Wang, Xinyan Zhao|arXiv (Cornell University)|May 23, 2019

Topic Modeling参考文献 14被引用数 5

ひとこと要約

本稿では、マルチチャネルエンコーダーとアテンションベースのデコードを介してテーマ情報を統合することで、一貫性のある中国語の歌詞を生成するテーマに配慮したシーケンス・トゥ・シーケンスモデルを提案する。モデルは、グローバルなテーマとローカルな文脈を同時に符号化することで、主題の整合性と文法的正しさを向上させ、LDAで抽出されたテーマを付与されたコーパス上で、ベースラインモデルを上回る優れた性能を達成する。

ABSTRACT

With rapid development of neural networks, deep-learning has been extended to various natural language generation fields, such as machine translation, dialogue generation and even literature creation. In this paper, we propose a theme-aware language generation model for Chinese music lyrics, which improves the theme-connectivity and coherence of generated paragraphs greatly. A multi-channel sequence-to-sequence (seq2seq) model encodes themes and previous sentences as global and local contextual information. Moreover, attention mechanism is incorporated for sequence decoding, enabling to fuse context into predicted next texts. To prepare appropriate train corpus, LDA (Latent Dirichlet Allocation) is applied for theme extraction. Generated lyrics is grammatically correct and semantically coherent with selected themes, which offers a valuable modelling method in other fields including multi-turn chatbots, long paragraph generation and etc.

研究の動機と目的

• 中国語音楽向けのニューラル歌詞生成モデルにおける主題の整合性の欠如に対処すること。
• シーケンス生成中に明示的なテーマ情報を組み込むことで、生成された歌詞の意味的および主題的整合性を向上させること。
• グローバルなテーマとローカルな文脈を両方符号化する、マルチチャネルseq2seqアーキテクチャを構築し、より良い文脈理解を実現すること。
• LDAを用いて抽出したテーマを備えた、中国語の歌詞コーパスを用いて、モデルの訓練と評価を実施すること。
• チャットボットや長文生成アプリケーションに適した、文法的に正しく、主題的につながった歌詞を生成するモデルの有効性を示すこと。

提案手法

• マルチチャネルのseq2seqモデルを設計し、一方のチャネルは入力テーマを、もう一方は前の文をローカル文脈として符号化する。
• 入力トークンに共通の埋め込み層を適用し、双方向LSTMエンコーダーを用いて、テーマおよび文のシーケンス両方の長距離依存関係を捉える。
• デコード段階で、エンコーディングされたテーマおよび以前の文の表現から関連する部分に動的に注目するアテンション機構を適用する。
• テーマは、中国語の歌詞の大規模コーパスからLDA（潜在ディリクレ配分）を用いて抽出し、教師あり学習の信号とする。
• デコーダーは、テーマおよび文の符号化から得られる文脈に配慮したコンテキストベクトルに条件づけられ、トークンごとに歌詞を生成する。
• 一般化を向上させ、過学習を軽減するために、ラベルスムージングを用いた交差エントロピー損失を用いて、エンド・ツー・エンドでモデルを訓練する。

実験結果

リサーチクエスチョン

• RQ1 明示的なテーマ統合は、生成された中国語の歌詞の主題の整合性を向上させることができるか？
• RQ2 テーマとローカル文脈のマルチチャネル符号化は、生成された歌詞の質および整合性にどのように影響するか？
• RQ3 アテンションベースのデコードは、生成テキストの入力テーマへの関連性をどの程度向上させるか？
• RQ4 テーマに配慮しないベースラインseq2seqモデルと比較して、本モデルは文のなめらかさと整合性の面で優れているか？
• RQ5 多様なテーマに条件づけられた場合、本モデルは文法的に正しく、意味的に意味のある歌詞を生成できるか？

主な発見

• 提案されたモデルは、ベースラインseq2seqモデルと比較して、生成された歌詞の主題の整合性が顕著に向上した。
• 人間による評価では、本モデルがより高い主題的一致性と文法的正しさを持つ歌詞を生成することが確認された。
• テーマに配慮した符号化の統合により、生成テキストにおけるより適切で文脈に即した語の選択が可能になった。
• アテンション機構は、テーマおよび過去の文の重要部分に効果的に注目し、生成品質を向上させた。
• 自動評価指標（例：BLEU、ROUGE）および主題的関連性に関する人間評価の両面で、テーマに配慮しないベースラインモデルを上回る性能を示した。
• LDAを用いたテーマ抽出は、中国語の歌詞から意味のあるテーマを効果的に特定でき、生成モデルのための有効な教師信号を提供した。