[論文レビュー] Generating Thematic Chinese Poetry with Conditional Variational Autoencoder.

Xiaopeng Yang, Xiaowen Lin+2 more|arXiv (Cornell University)|Nov 21, 2017

Topic Modeling参考文献 22被引用数 14

ひとこと要約

本稿では、トピック情報を明示的にモデリングすることで、テーマ的に整合性のある中国詩を生成するため、拡張された word2vec アーキテクチャを備えた条件付き変分オートエンコーダを提案する。キーワードガイドドの潜在表現と、新規の RHYTHM スコア指標を統合することで、テーマの関連性と構造的一致性が向上し、生成された詩のうち45.24％が人間の判断で人間が書いたものと区別できないことを確認した。

ABSTRACT

Computer poetry generation is our first step towards computer writing. Writing must have a theme. The current approaches of using sequence-to-sequence models with attention often produce non-thematic poems. We present a conditional variational autoencoder with augmented word2vec architecture that explicitly represents the topic or theme information. This approach significantly improves the relevance of the generated poems by representing each line of the poem not only in a context-sensitive manner but also in a holistic way that is highly related to the given keyword and the learned topic. The proposed augmented word2vec model further improves the rhythm and symmetry. We also present a straightforward evaluation metric RHYTHM score to automatically measure the rule-consistency of generated poems. Tests show that 45.24% generated poems by our model are judged by humans to be written by real people.

研究の動機と目的

• 中国詩生成のための従来のシーケンス・ツー・シーケンスモデルにおけるテーマの一貫性の欠如に対処すること。
• 条件付き潜在変数を用いてトピックまたはテーマ情報を明示的にモデリングすることで、詩の関連性を向上させること。
• 新規の RHYTHM スコア指標を用いて、生成された詩のリズム的・構造的一致性を向上させること。
• 入力キーワードに一致するトピック的整合性を保ちつつ、文脈に応じた行生成をバランスよく実現する手法を開発すること。
• 自動評価指標と人間の判断を組み合わせた評価を通じて、詩的真正性に焦点を当て、モデルの性能を評価すること。

提案手法

• トピックキーワードを条件として与えた詩の行の同時分布をモデリングするため、条件付き変分オートエンコーダ（CVAE）を採用する。
• 中国語の文字の意味的意味とリズム的・構文的制約を両方とも符号化する、拡張された word2vec アーキテクチャを統合する。
• 各行が入力キーワードに条件付けられたトピックに敏感な潜在空間を用い、詩全体にわたるテーマ的一致性を保証する。
• トーンパターン、声調のバランス、構造的対称性のルール適合性を評価するため、RHYTHM スコア指標を適用する。
• 再構成損失とKLダイバージェンス正則化を用いて、エンド・トゥ・エンドでモデルを訓練し、意味的・リズム的忠実性を維持する。
• 入力キーワードに条件付けられた学習済み潜在空間からサンプリングし、言語モデルを用いてデコードすることで詩を生成する。

実験結果

リサーチクエスチョン

• RQ1 キーワードによってガイドされた条件下で、条件付き変分オートエンコーダがテーマ的に整合性のある中国詩を効果的に生成できるか？
• RQ2 拡張された word2vec アーキテクチャは、生成された詩のリズム的・構造的一致性をどのように向上させるか？
• RQ3 RHYTHM スコア指標は、人間の詩的質とルール準拠性の認識とどの程度相関しているか？
• RQ4 ベースラインのシーケンス・ツー・シーケンスモデルと比較して、本モデルの性能はテーマ的関連性と人間評価の観点でどの程度優れているか？
• RQ5 人間の判断による評価において、生成された詩の何パーセントが人間が書いたものと区別できないとされるか？

主な発見

• 提案手法は45.24％の人的判断率を達成しており、生成された詩の45％以上が人間評価者によって真正性があると認識されていることを示している。
• トピックに敏感な潜在変数の統合により、標準的なシーケンス・ツー・シーケンスモデルと比較して、テーマ的関連性が顕著に向上した。
• RHYTHM スコア指標は、トーン、リズム、対称性に関するルール適合性を効果的に捉えており、構造的質の自動評価を可能にした。
• 拡張された word2vec コンponent は、生成された行の意味的整合性と音声的バランスの両方を向上させた。
• 本モデルは、入力キーワードに文脈的・テーマ的に整合する詩を生成する点で優れた性能を示した。
• 人的評価により、本モデルはベースライン手法と比較して、より高い真正性と認識される詩を生成することが確認された。