[論文レビュー] Chinese Poetry Generation with Planning based Neural Network

Zhe Wang, Wei He+5 more|arXiv (Cornell University)|Oct 31, 2016

Artificial Intelligence in Games参考文献 28被引用数 71

ひとこと要約

本稿では、ユーザーの意図に基づいてまずサブトピックを計画し、その後に修正されたRNNエンコーダ・デコーダモデルを用いて段階的に行を生成する二段階のニューラルネットワークフレームワークを提案する。この手法は、外部知識を用いることで意味的整合性を向上させ、現代的な概念に対応し、人間評価において人間の詩と区別がつかない品質に到達している。非専門家による評価では、機械生成詩の49.9％が人間の詩と識別不能であった。

ABSTRACT

Chinese poetry generation is a very challenging task in natural language processing. In this paper, we propose a novel two-stage poetry generating method which first plans the sub-topics of the poem according to the user's writing intent, and then generates each line of the poem sequentially, using a modified recurrent neural network encoder-decoder framework. The proposed planning-based method can ensure that the generated poem is coherent and semantically consistent with the user's intent. A comprehensive evaluation with human judgments demonstrates that our proposed approach outperforms the state-of-the-art poetry generating methods and the poem quality is somehow comparable to human poets.

研究の動機と目的

• 既存のニューラル詩生成モデルでは、後続の行がユーザーの初期意図から逸脱する傾向にあるため、意味的整合性の欠如を是正すること。
• 従来のモデルが学習データの語彙制限のため処理できない、現代的または非伝統的なトピック（例：「バラク・オバマ」）の詩生成を可能にすること。
• 生成の前にユーザーの意図を構造化されたサブトピックに明示的に分解することで、詩の品質を向上させること。
• 外部知識ソース（例：百科事典）を統合し、現代的用語と古典的詩的言語のギャップを埋めること。
• 人間の基準に合致した意味的整合性、リズム的正しさ、構造的一致性を持つ詩を生成するフレームワークの開発。

提案手法

• 本手法は二段階パイプラインを採用する：まず、詩計画モデルがユーザーの入力（キーワード、文、またはドキュメント）を、各行の主題的要素を表すサブトピックの系列に分解する。
• 各サブトピックは、百科事典などの外部知識ソースを用いて生成され、現代用語を古典的言語に適合する概念に拡張する（例：「バラク・オバマ」→「優れた者」、「力」）。
• 生成には、二重エンコーダを備えた修正されたRNNエンコーダ・デコーダモデルが採用される。一つのエンコーダは現在のサブトピックを、もう一つは以前に生成された行を処理する。
• デコーダのアテンション機構は、サブトピック埋め込みと以前の行の隠れ状態の両方に注目し、文脈に配慮したかつトピックに整合した生成を保証する。
• モデルは、厳密な音調、韻律、構造的ルールに従う古典中国詩の大規模コーパスで学習される。
• 本フレームワークは、四行詩（quatrain）などさまざまな詩的形式の生成をサポートし、他のジャンルや言語への拡張も可能である。

実験結果

リサーチクエスチョン

• RQ1 エンド・トゥ・エンドのシーケンス・トゥ・シーケンスモデルと比較して、計画ベースのアプローチは中国詩の意味的整合性を向上させることができるか？
• RQ2 本モデルは、学習データに存在しない現代的または非伝統的トピック（例：「ビール」）の詩をどれほどうまく生成できるか？
• RQ3 外部知識ソース（例：百科事典）を用いることで、現代的用語を古典的詩的形式に統合する能力がどの程度向上するか？
• RQ4 人間評価において、機械生成詩の品質は人間の詩にどれほど近いか？
• RQ5 意味的整合性を保ちながら、韻律、音調パターンなどの構造的制約（例：韻）を遵守できるか？

主な発見

• 人間評価において、機械生成詩の49.9％が非専門家評価者によって人間の詩と誤認され、または人間の詩と区別がつかなかった。
• 専門家評価者においても、機械生成詩と人間の詩を識別できなかった割合は16.3％にとどまり、品質認識における顕著な格差が示された。
• 外部知識から導かれたサブトピック（例：「香り」、「春の川」、「星」）を用いて、『ビール』や『辛丙』といった現代的トピックに対しても、整合性のある詩を生成できた。
• 計画ベースのアプローチにより、意味的整合性が顕著に向上した。各行がユーザーの意図から導かれた明示的なサブトピックと結びつけられているためである。
• 二重エンコーダを備えた修正されたRNNエンコーダ・デコーダは、自動評価および人間評価の両方で、すべてのベースラインモデルを上回った。
• 本手法は、現代的または抽象的な概念でプロンプトを与えられても、構造的に正しく、適切な音調パターンと韻を備えた詩の生成に強く、耐性を示した。