[論文レビュー] Chinese song iambics generation with neural attention-based model

Qixin Wang, Tianyi Luo+2 more|arXiv (Cornell University)|Jul 9, 2016

Topic Modeling参考文献 17被引用数 54

ひとこと要約

本稿では、中国宋詩の抑揚的形式（イambic）を生成するための、双方向LSTMを用いた注目メカニズムに基づくシーケンス・ツー・シーケンスモデルを提案する。この形式は、厳密なリズム的・構造的制約を持つ。グローバルコンテキストの統合とハイブリッドスタイル学習を採用することで、モデルは複雑なパターンを効果的に学習し、自動的および人間による評価において、高品質でリズム的に正確な詩の生成に成功した。

ABSTRACT

Learning and generating Chinese poems is a charming yet challenging task. Traditional approaches involve various language modeling and machine translation techniques, however, they perform not as well when generating poems with complex pattern constraints, for example Song iambics, a famous type of poems that involve variable-length sentences and strict rhythmic patterns. This paper applies the attention-based sequence-to-sequence model to generate Chinese Song iambics. Specifically, we encode the cue sentences by a bi-directional Long-Short Term Memory (LSTM) model and then predict the entire iambic with the information provided by the encoder, in the form of an attention-based LSTM that can regularize the generation process by the fine structure of the input cues. Several techniques are investigated to improve the model, including global context integration, hybrid style training, character vector initialization and adaptation. Both the automatic and subjective evaluation results show that our model indeed can learn the complex structural and rhythmic patterns of Song iambics, and the generation is rather successful.

研究の動機と目的

• 従来の言語モデルでは対応できない、厳密なリズム的・構造的パターンを要する中国宋詩の生成という課題に取り組む。
• 注目メカニズムを用いて入力文からの詳細な構造的キューを統合することで、詩の生成品質を向上させる。
• グローバルコンテキスト統合やハイブリッドスタイル学習などの技術を検討し、生成されたイambicの構造的整合性と滑らかさを向上させる。
• 長さが可変である詩的形式において、リズムの一貫性と詩的整合性を維持できるかをモデルの能力として評価する。

提案手法

• 入力として与えられるキュー文からの文脈表現を捉えるために、双方向LSTMエンコーダを採用する。
• 構造的制約を尊重しながら、トークンごとに生成する注目メカニズムに基づくLSTMデコーダを用いる。
• 長期間の生成を安定化させ、可変長の行間で一貫性を向上させるために、グローバルコンテキスト情報を統合する。
• 生成された詩の滑らかさと構造的正確性の両方を同時に最適化するため、ハイブリッドスタイル学習を適用する。
• 学習済みベクトルを初期値として文字埋め込みを初期化し、訓練中にそれらを適応させることで、詩的語彙をよりよく表現する。
• 入力キューの顕著な構造的特徴に注目する注目メカニズムを用いて、生成プロセスを正則化する。

実験結果

リサーチクエスチョン

• RQ1 注目メカニズムに基づくシーケンス・ツー・シーケンスモデルは、中国宋詩の複雑なリズム的・構造的制約を効果的に学習し、生成できるか？
• RQ2 グローバルコンテキスト統合は、生成されたイambicの整合性と構造的一致性をどのように向上させるか？
• RQ3 ハイブリッドスタイル学習は、詩の生成において滑らかさと構造的正確性の両面をどの程度向上させるか？
• RQ4 文字ベクトルの初期化と適応は、言語的・リズム的に正確な詩の生成能力にどのように影響するか？

主な発見

• モデルは、中国宋詩に内在する複雑なリズム的・構造的パターンを効果的に学習し、再現した。
• 自動評価の結果、ベースラインモデルと比較して構造的・言語的質の両方が向上していることが示された。
• 主観的評価では、人間のアノテーターが生成されたイambicを整合的で滑らかでリズム的に正確であると評価した。
• グローバルコンテキスト統合やハイブリッドスタイル学習といった技術は、モデルの長期間にわたる整合性維持能力を顕著に向上させた。
• 文字ベクトルの初期化と適応は、詩的語彙の表現を向上させ、生成品質の向上に寄与した。
• 注目メカニズムにより、入力キューと生成された詩的行との間で効果的な対応付けが実現され、構造的関連性が保証された。