[論文レビュー] Chinese Poetry Generation with a Salient-Clue Mechanism

Xiaoyuan Yi, Ruoyu Li+1 more|arXiv (Cornell University)|Sep 12, 2018

Topic Modeling参考文献 22被引用数 5

ひとこと要約

本稿では、中国詩の生成に向けた顕著キーポイント（Salient-Clue）機構を提案する。この機構は、事前に生成された行から意味的に顕著な文字を動的に選択し、それをガイドとなる手がかりとして用いることで、意味的・主題的・芸術的コンセプトにおける全体の整合性を向上させる。本手法は強力なベースラインを上回る整合性を達成し、スタイルやユーザーの意図に対する柔軟な制御を可能とし、自動評価および人間評価の両面で優れた性能を発揮する。

ABSTRACT

As a precious part of the human cultural heritage, Chinese poetry has influenced people for generations. Automatic poetry composition is a challenge for AI. In recent years, significant progress has been made in this area benefiting from the development of neural networks. However, the coherence in meaning, theme or even artistic conception for a generated poem as a whole still remains a big problem. In this paper, we propose a novel Salient-Clue mechanism for Chinese poetry generation. Different from previous work which tried to exploit all the context information, our model selects the most salient characters automatically from each so-far generated line to gradually form a salient clue, which is utilized to guide successive poem generation process so as to eliminate interruptions and improve coherence. Besides, our model can be flexibly extended to control the generated poem in different aspects, for example, poetry style, which further enhances the coherence. Experimental results show that our model is very effective, outperforming three strong baselines.

研究の動機と目的

• 神経機械的中国詩生成における全体的整合性の課題、特に行間の主題的・芸術的一貫性を解決すること。
• 完全な文脈ではなく、部分的な文脈の中から顕著なものを選択的に利用するメカニズムを構築すること。
• 詩の各行にわたり段階的に顕著キーポイントを動的に構築することで、整合性を向上させること。
• ユーザーの意図と詩のスタイルを統合することで、生成詩に対する柔軟な制御を可能とすること。
• 五言絶句および七言絶句の生成において、整合的で、スタイル的に一貫性があり、かつ独創的な詩を生成するモデルの有効性を評価すること。

提案手法

• 顕著キーポイント機構は、各々の事前に生成された行から、顕著度スコア関数を用いて最も顕著な文字を特定・選択する。
• 選択された顕著な文字が、動的かつ進化的に変化する手がかりを形成し、以降の行の生成をデコーダーがガイドする。
• ユーザーの意図と詩のスタイルを補助信号として統合し、生成プロセスをさらに制御可能にする。
• 顕著度はtf-idfと学習済み顕著度ネットワーク（SSal）の組み合わせで計算され、アブレーションスタディによりその有効性が検証されている。
• カバレッジと制御性を高めるために、ポインタジェネレーターネットワークを備えたseq2seq生成モデルの枠組みに実装されている。
• 本モデルはワンパス生成をサポートしており、自動指標および人間によるアノテーションの両方で評価されている。

実験結果

リサーチクエスチョン

• RQ1 動的に更新される顕著キーポイントは、主題および芸術的コンセプトの面で、生成された中国詩の全体的整合性を向上させ得るか？
• RQ2 完全な文脈モデル化と比較して、顕著な部分的文脈の選択的利用は、詩の各行間の整合性を維持する上で効果的か？
• RQ3 ユーザーの意図と詩のスタイルの統合は、生成における整合性と制御性をさらに向上させ得るか？
• RQ4 顕著度選択メカニズムは、品質を保持しつつ、どれほど独創性の向上に寄与するか？
• RQ5 自動指標および人間評価の両面で、本手法は強力なベースラインと比較してどのように優れているか？

主な発見

• 提案された顕著キーポイント機構は、意味・主題・芸術的コンセプトの面で人間評価スコアが上昇したことで、全体的整合性が顕著に向上したことが確認された。
• 自動指標において、3つの強力なベースラインを上回り、五言絶句のスタイル制御に52.5%の成功率を達成した。
• tf-idfに基づく顕著度選択は独創性を向上させ、生成詩におけるJaccard類似度が0.042に達した。
• 品質、独創性、モデルサイズ（13.6Mパラメータ）、生成速度（1.57秒/詩）のバランスが良好に保たれた。
• 事例研究では、SCによって生成された詩が一貫性を保っている（例：「秋」→「落葉」）のに対し、seq2seqPGのようなベースラインは矛盾を生じさせた（例：「月」→「日没」）。
• ユーザーの意図とスタイル制御の統合により、さらに整合性が向上し、tf-idf顕著度とスタイル監視を組み合わせた際、最高のパフォーマンスが得られた。