[論文レビュー] Multi-Figurative Language Generation

Huiyuan Lai, Malvina Nissim|arXiv (Cornell University)|Sep 5, 2022

Natural Language Processing Techniques被引用数 4

ひとこと要約

この論文では、パaraphraseデータを用いた2段階のトレーニングアプローチにより、比喩、慣用句、皮肉、隠喩、たとえ話の5つの比喩的表現形式を同時にモデル化するmFLAGというマルチフィギュラティブ言語生成フレームワークを紹介する。まず、比喩的表現形式固有のトークンを入力に付加することで、複数の比喩的表現形式の混合データを用いたマルチフィギュラティブ事前学習を行い、次に、並列の比喩的表現対を必要としない、新たなエンコーダーインジェクション機構を用いて、目的の比喩的表現形式の生成をガイドする。モデルは強力なベースラインを上回り、並列の比喩的表現対が存在しない状況でもゼロショットの比喩的表現から比喩的表現への生成を可能にし、クロス比喩的知識の転送を活用する。

ABSTRACT

Figurative language generation is the task of reformulating a given text in the desired figure of speech while still being faithful to the original context. We take the first step towards multi-figurative language modelling by providing a benchmark for the automatic generation of five common figurative forms in English. We train mFLAG employing a scheme for multi-figurative language pre-training on top of BART, and a mechanism for injecting the target figurative information into the encoder; this enables the generation of text with the target figurative form from another figurative form without parallel figurative-figurative sentence pairs. Our approach outperforms all strong baselines. We also offer some qualitative analysis and reflections on the relationship between the different figures of speech.

研究の動機と目的

• 現在、比喩的表現形式を別々のモデルで処理する必要があるため、神経的生成における複数の比喩的表現形式の共同モデリングの欠如に対処すること。
• 並列の比喩的表現対文が存在しない状況でも、異なる比喩的表現形式間（例：比喩から隠喩へ）のゼロショット生成を可能にすること。
• パラフレーズデータと形式固有のラベルを用いて、複数の比喩的表現形式を同時に事前学習することで、クロス比喩的知識の転送を調査すること。
• 並列データに依存せずに、目的の比喩的表現形式情報をエンコーダーにインジェクションするメカニズムを設計し、生成をガイドすること。
• 直接的な比喩的表現から比喩的表現への生成と、比喩的表現を経由する中間言語表現（例：意味的・文法的意味の明確化）を介した生成の両者の妥当性と特徴を評価すること。

提案手法

• 2段階のトレーニングスキーム：まず、形式固有のトークンを各入力に前置することで、意味的・比喩的表現の混合文を用いたマルチフィギュラティブ事前学習を実施する。
• 次に、5つの比喩的表現形式すべてにおいて、意味的・比喩的表現対の並列データを用いた教師あり微調整を行い、エンドツーエンドの生成を可能にする。
• 目的の比喩的表現形式ラベルを入力埋め込み空間に射影する、新規のエンコーダーインジェクション機構を採用し、デコード時に望ましい比喩的表現形式に注目できるようにする。
• 事前学習段階でパラフレーズデータを活用することで、異なる比喩的表現形式における文脈の整合性と表現の強度を向上させる。
• 直接的な比喩的表現から比喩的表現への生成と、意味的表現を中間として用いるピボットベースの方法を比較し、性能と言語的整合性を評価する。
• 主成分分析（PCA）を用いた可視化により、異なる比喩的表現形式におけるエンコーダー表現の意味的クラスタリングを検証する。

実験結果

リサーチクエスチョン

• RQ1 並列の比喩的表現対データが存在しない状況でも、意味的・比喩的入力から複数の比喩的表現形式を効果的に生成できる単一のニューラルモデルは構築可能か？
• RQ2 クロス比喩的知識の転送は、マルチフィギュラティブ言語生成のパフォーマンスをどの程度向上させるか？
• RQ3 提案されたエンコーダーインジェクション機構は、文脈を保持しつつ、目的の比喩的表現形式の生成能力にどのように影響を与えるか？
• RQ4 分類器の一般化特性から、異なる比喩的表現形式間の言語的類似性と相違点はどのようなものか？
• RQ5 整合性と形式の正確性という観点から、直接的な比喩的表現から比喩的表現への生成が、意味的表現をピボットとして用いる方法を上回るか？

主な発見

• mFLAGモデルは、マルチフィギュラティブ言語生成において、すべての強力なベースラインを上回り、共同モデリングとクロス比喩的知識の転送の有効性を示している。
• エンコーダーインジェクション機構により、並列の比喩的表現対が存在しない状況でも、比喩的表現から比喩的表現への生成が成功し、未学習の形式遷移においても高いパフォーマンスを達成している。
• PCA可視化により、インジェクション機構を用いた場合、目的の比喩的表現形式（例：比喩における「on pins and needles」）のトークン表現が埋め込み空間でより密にクラスタリングされていることが示され、ターゲット形式の意味との整合性が高まっていることが裏付けられた。
• ある比喩的表現形式で学習した分類器は、他の形式へ中程度の一般化が可能である——特に比喩と慣用句からたとえ話への一般化（F1 > 0.79）は顕著で、形式間で共通する非意味的特徴が存在する可能性を示唆している。
• たとえ話分類器は他の形式への一般化が著しく劣り（F1 < 0.11）、その理由は「like a X」といった明確な文法的構造が特徴的で、容易に検出可能であるため、形式間の転送が制限される可能性がある。
• 全形式にわたる意味的・比喩的分類器のF1スコアは0.69以上を達成しており、マルチフィギュラティブモデリングの実現可能性が確認された。