[論文レビュー] Chinese Poetry Generation with a Working Memory Model

Xiaoyuan Yi, Maosong Sun+2 more|arXiv (Cornell University)|Sep 12, 2018

Topic Modeling被引用数 7

ひとこと要約

本稿では、中国詩の生成のための作業記憶モデルを提案する。このモデルは、動的記憶にトピックと顕著な歴史的コンテンツを明示的に保持することで、一貫性を向上させる。生成中にメモリスロットから選択的に読み込み、書き込むことで、五言短章、抑揚律、中国風抒情詩の複数のジャンルで、自動評価および人的評価の両面で最先端の性能を達成した。

ABSTRACT

As an exquisite and concise literary form, poetry is a gem of human culture. Automatic poetry generation is an essential step towards computer creativity. In recent years, several neural models have been designed for this task. However, among lines of a whole poem, the coherence in meaning and topics still remains a big challenge. In this paper, inspired by the theoretical concept in cognitive psychology, we propose a novel Working Memory model for poetry generation. Different from previous methods, our model explicitly maintains topics and informative limited history in a neural memory. During the generation process, our model reads the most relevant parts from memory slots to generate the current line. After each line is generated, it writes the most salient parts of the previous line into memory slots. By dynamic manipulation of the memory, our model keeps a coherent information flow and learns to express each topic flexibly and naturally. We experiment on three different genres of Chinese poetry: quatrain, iambic and chinoiserie lyric. Both automatic and human evaluation results show that our model outperforms current state-of-the-art methods.

研究の動機と目的

• 神経的詩生成における一貫性の継続的課題、特に行間におけるトピックの一貫性とテーマの流れを改善すること。
• 認知的作業記憶を模倣することで、推論と生成に必要な限られた関連情報の保持を実現し、人間らしい執筆プロセスをモデル化すること。
• 単一の隠れベクトルに圧縮するのではなく、別々の動的メモリスロットにトピックと顕著な歴史的文脈を保持することで、トピック表現と遷移の向上を図ること。
• トーン、行長、韻律を制御するジャンル条件付き埋め込みを用いることで、多様な詩的ジャンルに柔軟に適合する生成を可能にすること。

提案手法

• 生成中に顕著なトピックと最近の行の内容を格納・取得できる、複数の限られたスロットを持つメモリ機構を採用する。
• トピックはメモリ内で独立して保持され、現在の生成段階における関連性に基づいて選択的に読み込まれるため、焦点を絞った一貫性のある行の生成が可能になる。
• 各行が生成された後、モデルは最も情報の多い部分を抽出し、メモリスロットに書き込むことで、関連性の高い歴史的文脈のみを保持する。
• 構造的・音韻的制約（例：調子、行長、韻）を制御するためのジャンル埋め込みを導入し、同じモデルで複数の詩的形式の生成を可能にした。
• アテンション機構を用いてメモリの読み込み確率を計算することで、自己回帰的デコード中に関連するメモリ内容に動的に注目できる。
• トピックトレース機構を導入し、すでに使用されたトピックを明示的に追跡することで、繰り返しを低減し、トピックカバレッジを向上させた。

実験結果

リサーチクエスチョン

• RQ1 動的管理されたメモリ機構により、関連するトピックと部分的歴史を保持することで、神経的詩生成における一貫性が向上するか？
• RQ2 歴史的文脈を単一の隠れベクトルに圧縮するのではなく、トピックと顕著な内容を明示的にメモリに管理することで、トピック表現と流暢さの面でどのような差が生じるか？
• RQ3 同じメモリ機構とジャンル埋め込みを用いて、1つのモデルアーキテクチャが多様な詩的ジャンルを生成できる範囲はどの程度か？
• RQ4 メモリスロットの数が生成品質に与える影響は何か？また、異なる詩的形式において最適な構成は何か？
• RQ5 本モデルは、抑揚律のような複雑なジャンルにおいても、人間並みの一貫性（トピック表現とテーマの流れ）を達成できるか？

主な発見

• 五言短章では、作業記憶（WM）モデルが人間がアノテートした詩と同等の水準の一体性と関連性を達成し、スコアが人間の詩に近く、人間レベルの性能を示した。
• 抑揚律では、WMがBLEU、パープレキシティ、人的評価のすべての指標で、すべてのベースラインを上回ったが、このジャンルの複雑さのため、人間詩人と比べてわずかなギャップが残った。
• 中国風抒情詩では、WMが全モデルの中で最高の流暢さスコアを記録した。これは、ジャンル埋め込みが構造と音韻を制御できることによる恩恵であった。
• 6つのメモリスロットを搭載したモデルが、抑揚律および抒情詩生成において最適な性能を発揮した。スロットが多すぎたり少なすぎたりすると性能が低下した。
• アブレーションスタディの結果、トピックトレース機構を削除すると、トピックカバレッジと関連性が低下した。これは、この機構が明示的なトピック追跡に重要な役割を果たしていることを確認した。
• 事例研究では、モデルが関連するメモリ内容に動的に注目していることが示された（例：「手紙」を生成する際には「会いたい」に注目）。これは文脈的に適切で意味論的に根拠のある生成であることを示している。