[論文レビュー] Generating Chinese Classical Poems with RNN Encoder-Decoder

Xiaoyuan Yi, Ruoyu Li+1 more|arXiv (Cornell University)|Apr 6, 2016

Topic Modeling参考文献 12被引用数 13

ひとこと要約

本稿では、トピック語を条件として、中国古典詩（絶句四行詩）を生成するRNNベースのエンコーダデコーダモデルを提案する。このモデルは、意味的関連性、構造的パターン、リズムを同時に学習し、テンプレート制約なしで最先端の性能を達成する。アテンション機構により語の関連性モデリングが向上し、逆順のターゲットラインを用いた学習により出力品質が向上する。

ABSTRACT

We take the generation of Chinese classical poem lines as a sequence-to-sequence learning problem, and build a novel system based on the RNN Encoder-Decoder structure to generate quatrains (Jueju in Chinese), with a topic word as input. Our system can jointly learn semantic meaning within a single line, semantic relevance among lines in a poem, and the use of structural, rhythmical and tonal patterns, without utilizing any constraint templates. Experimental results show that our system outperforms other competitive systems. We also find that the attention mechanism can capture the word associations in Chinese classical poetry and inverting target lines in training can improve performance.

研究の動機と目的

• 神経的シーケンス・トゥ・シーケンスモデリングを用いて、一貫性があり、リズム的に正確な中国古典詩を生成する課題に取り組む。
• 行内での意味的意味、行間の関連性、トーンやリズムといった構造的制約を同時に学習する。
• 手作業で作成した制約テンプレートに依存しないようにし、詩の形式と内容をエンドツーエンドで学習可能にする。
• アテンション機構と学習データの再順序化（逆順ターゲットライン）が生成品質に与える効果を評価する。
• 古典的中国詩のスタイル的・形式的特徴を保ちながら、神経的生成フレームワークを確立する。

提案手法

• トピック語（入力）を、四行の絶句詩を形成する文字列にマッピングするRNNエンコーダデコーダアーキテクチャを用いる。
• アテンション機構を用いて、入力トピックと生成行内の関連語を動的にアライメントさせ、意味的関連性を捉える。
• 本物の絶句詩の大量コーパス上でエンドツーエンドに学習させ、コンテンツと構造的パターンを同時に学習する。
• 訓練中にターゲット行の順序を反転させることでデータ拡張を実施し、一般化性能と一貫性を向上させる。
• 明示的なルールベースの制約なしに、シーケンスモデリングを通じてトーンやリズムのパターンを暗黙的に学習する。
• 正解の文字列シーケンスの尤度を最大化するために交差エントロピー損失を最適化に用いる。

実験結果

リサーチクエスチョン

• RQ1 エンドツーエンドのRNNエンコーダデコーダモデルは、制約テンプレートに依存せずに、一貫性がありリズム的に正確な中国古典詩を生成できるか？
• RQ2 アテンション機構は、トピック語と関連する詩的コンテンツとの関連性をどの程度向上させるか？
• RQ3 訓練中にターゲットシーケンスの順序を反転させること（逆順ライン）が、生成詩の品質と一貫性にどのような影響を与えるか？
• RQ4 モデルは、行内での意味的意味、行間の関連性、およびトーンやリズムといった形式的制約を同時に学習できるか？
• RQ5 提案手法は、既存のテンプレートベースまたはルールベースの生成システムと比較して、定量的・定性的にどの程度優れているか？

主な発見

• 提案されたRNNエンコーダデコーダモデルは、一貫性があり、スタイル的に適切な中国古典詩を生成する面で、競合するベースライン手法を上回る。
• アテンション機構により、トピック語と詩的コンテンツとの間で意味的関連性のある語の関連性が的確に捉えられ、意味的関連性が向上した。
• 逆順ターゲットラインを用いた学習は、モデルの性能を顕著に向上させ、長距離依存関係と一貫性の学習が強化されたことを示唆している。
• 明示的なルールベースの制約なしに、適切なトーンとリズムのパターンを維持した詩が生成可能であり、形式的構造が暗黙的に学習されていることを示している。
• 人間による評価では、生成された詩が既存の手法よりもより流暢で、詩的の一貫性が保たれていることが確認された。
• 自動評価指標と人間評価の両面で、エンドツーエンド学習にアテンションとデータ拡張を組み合わせた本手法が、最先端の結果を達成しており、有効性が裏付けられた。