[論文レビュー] Modern French Poetry Generation with RoBERTa and GPT-2

Mika Hämäläinen, Khalid Alnajjar+1 more|Työväentutkimus Vuosikirja|Dec 6, 2022

Topic Modeling参考文献 27被引用数 8

ひとこと要約

本稿では、エンコーダーにCamemBERT（RoBERTaベース）を、デコーダーにGPT-2を用い、ビームサーチにルールを組み込んだ新規のエンコーダーデコーダーモデルを提案する。これは現代フランス語の詩生成のためのものである。人的評価では、平均理解度スコアが5段階中3.79を記録し、文法的に整合性があり、スタイル的に妥当な現代フランス語の詩を効果的に生成できることを示している。

ABSTRACT

We present a novel neural model for modern poetry generation in French. The model consists of two pretrained neural models that are fine-tuned for the poem generation task. The encoder of the model is a RoBERTa based one while the decoder is based on GPT-2. This way the model can benefit from the superior natural language understanding performance of RoBERTa and the good natural language generation performance of GPT-2. Our evaluation shows that the model can create French poetry successfully. On a 5 point scale, the lowest score of 3.57 was given by human judges to typicality and emotionality of the output poetry while the best score of 3.79 was given to understandability.

研究の動機と目的

• 厳密な格律的制約のない、現代的で自由形式のフランス語詩を生成できるニューラル詩生成モデルを開発すること。
• 単一モデルアプローチの限界を補うために、RoBERTaの強力な言語理解能力とGPT-2の生成能力を統合すること。
• 自己回帰的生成に頼るのではなく、音声的ルール（完全ルール、同韻、子音同韻）をビームサーチの条件として組み込むことで、生成品質を向上させること。
• 人的アノテーターによる評価を通じて、詩的特性の主要な側面（典型性、感情表現、理解度）を評価すること。

提案手法

• 入力プロンプトの文脈的意味を捉えるために、CamemBERTベースのRoBERTaモデルを微調整してエンコーダーとして使用する。
• GPT-2ベースのデコーダーを用い、エンコードされた文脈から自己回帰的に詩のトークンを生成する。
• 語の発音表記（IPA）を計算し、最初の母音から一致する（完全ルール）、母音列の一致（同韻）、子音群の一致（子音同韻）を条件としてビームサーチを制御する。
• Wikisourceおよびフランス語のソネットデータセットから収集した25,215編のフランス語の詩とソネットを前処理し、長さを統一するためにスタンザに分割する。
• Hugging Faceのモデルハブから事前学習済み重みを初期化することで、トレーニングを再スタートから行うのを避ける。
• エンコーダーが入力プロンプトを処理し、デコーダーが順次 verse を生成するハイブリッドトレーニング戦略を採用する。各新しい verse は、前の verse に条件付けられる。

実験結果

リサーチクエスチョン

• RQ1 微調整されたRoBERTa-GPT-2ハイブリッドモデルは、意味的・構文的に整合的で、スタイル的に適切な現代フランス語の詩を生成できるか？
• RQ2 ビームサーチに音声的ルール制約を組み込むことで、生成出力の質や詩的真正性にどのような影響を与えるか？
• RQ3 人的評価において、生成された詩の理解度、典型性、文法的整合性、感情的インパクトの観点から、人間の認識はいかなるものか？
• RQ4 RoBERTa（理解力）とGPT-2（生成力）の個々の強みが、単一モデルベースラインと比較して、どのように統合され、性能向上に寄与するか？

主な発見

• 人的評価において、平均理解度スコアが5段階中3.79を記録し、生成された詩に文法的・意味的整合性が保たれていることが示された。
• 最も低い人的評価スコアは典型性と感情表現の分野で3.57であった。これは、詩が文法的に整合的であるものの、人間が書いた現代詩のスタイル的・感情的深さにはまだ完全には達していない可能性を示唆している。
• モデルは4節から成る一貫性のある詩の生成に優れており、例示された出力例からも、各節が前の節に基づいて論理的に展開していることが確認できる。
• 強力な性能を示しているものの、時折存在しない動詞形（例：非標準的な活用形「effondrit」）を生成する場合があり、活用形の正確性向上の余地があることが示された。
• ビームサーチにルールモデリングを統合することで、詩の形式的整合性が向上したが、人的認識への具体的な影響は、全体的な評価スコアを超えて定量化されていない。
• 完全な評価結果および生成された詩は、再現可能性およびさらなる研究を目的としてZenodoに公開されている。