[論文レビュー] GPT-based Generation for Classical Chinese Poetry

Yi Liao, Yasheng Wang+2 more|arXiv (Cornell University)|Jun 29, 2019

Topic Modeling参考文献 14被引用数 34

ひとこと要約

GPTベースの単純なアプローチが、手作りのルールなしに古典中国詩に対して transformer をファインチューニングし、acrostics を含む複数の詩形に適した整った詩を生成します。システムはトークンごとのサンプリングと形式・テーマの整形を用いて、多様で一貫性のある詩を生み出します。

ABSTRACT

We present a simple yet effective method for generating high quality classical Chinese poetry with Generative Pre-trained Language Model (GPT). The method adopts a simple GPT model, without using any human crafted rules or features, or designing any additional neural components. While the proposed model learns to generate various forms of classical Chinese poems, including Jueju, Lüshi, various Cipai and Couples, the generated poems are of very high quality. We also propose and implement a method to fine-tune the model to generate acrostic poetry. To the best of our knowledge, this is the first to employ GPT in developing a poetry generation system. We have released an online mini demonstration program on Wechat to show the generation capability of the proposed method for classical Chinese poetry.

研究の動機と目的

• 形式や内容規則を明示せず、シンプルな GPT モデルが高品質な古典中国詩を生成できることを示す。
• Jueju、Lüshi、Cipai、Couplet など複数の詩形および頭韻詩を扱うモデルの能力を調査する。
• 詩形ごとおよびテーマごとに、形式の整合性、一貫性、多様性、芸術性を評価する。

提案手法

• 中国ニュースコーパスで事前学習した後、古典中国詩のコーパスで GPT モデルをファインチューニングする。
• 訓練詩を form、theme、body のフィールドを識別子で区切ってシーケンス化して直列化している。
• デコード時の多様性を促すため、切り詰めた top-k サンプリングを用いたトークンごとの生成を行う。
• 先頭文字をエンコードするようシーケンス形式を変更して、頭韻詩を生成する別のモデル変種を訓練する。
• デコード時に硬い制約を課さず、形式や韻の傾向を学習するモデルに任せる。

実験結果

リサーチクエスチョン

• RQ1 古典中国詩にファインチューニングされたGPTモデルは、明示的なルールベースのコントローラなしに、さまざまな伝統詩形で整った詩を生成できるか。
• RQ2 モデルは二対句(duìliǎng)などの詩形・音調関連の制約を内在的にどれだけ学習できるか。
• RQ3 指定されたトークンが指定位置に現れるように頭韻詩を生成できるか。
• RQ4 異なるテーマと詩形で生成された詩の多様性、一貫性、芸術性はどの程度か。

主な発見

• この方法は、Jueju、Lüshi、Cipai、Couplet を含む複数の詩形で、手作りの規則なしに高品質な詩を生成する。
• 報告された観察では Jueju と Lüshi の整合性は 95% 超、Cipai の性能は詩形の複雑さとデータの可用性により変動。
• モデルは二対句の規則と音調パターンを暗黙的に学習し、多くのケースで整然と対句が揃い、特に Lüshi で顕著。
• 多様性は切り詰めた top-k サンプリングによって達成され、同じ詩形とテーマでも実行ごとに異なる出力を生み出す。
• 入力の単純な再フォーマットだけで頭韻詩を生成でき、特定の文字を指定した位置に現れるよう導く。
• デコード時に明示的な制約を課さなくても、韻と音調パターンはかなり良く現れる。