[論文レビュー] Metaphoric Paraphrase Generation

Kevin Stowe, Leonardo F. R. Ribeiro+1 more|TUbilio (Technical University of Darmstadt)|Feb 28, 2020

Language, Metaphor, and Cognition参考文献 36被引用数 15

ひとこと要約

本稿は、比喩的言い換えの生成という新規なタスクを提示し、語彙置換ベースラインと、'比喩マスキング'を用いた新しいsequence-to-sequenceモデルを提案する。比喩マスキングモデルは、創造的で比喩的な表現を生成する上でベースラインを上回り、同時に高い流暢さと言い換え品質を維持している。これはクラウドソーシングによる評価で裏付けられている。

ABSTRACT

This work describes the task of metaphoric paraphrase generation, in which we are given a literal sentence and are charged with generating a metaphoric paraphrase. We propose two different models for this task: a lexical replacement baseline and a novel sequence to sequence model, 'metaphor masking', that generates free metaphoric paraphrases. We use crowdsourcing to evaluate our results, as well as developing an automatic metric for evaluating metaphoric paraphrases. We show that while the lexical replacement baseline is capable of producing accurate paraphrases, they often lack metaphoricity, while our metaphor masking model excels in generating metaphoric sentences while performing nearly as well with regard to fluency and paraphrase quality.

研究の動機と目的

• 比喩的言い換えの生成という新規な自然言語生成の課題を形式化すること。
• 比喩的言い換え生成のためのデータセットと評価指標の不足に対処すること。
• 語彙置換ベースラインと、比喩マスキングを用いた新しいsequence-to-sequenceモデルの開発および比較すること。
• クラウドソーシングを用いてモデル出力を評価し、比喩性、流暢さ、言い換え品質に注目すること。
• 自動評価指標の限界を特定し、より知識を組み込んだ生成モデルの必要性を提起すること。

提案手法

• WordNetを用いて候補となる比喩的動詞を特定し、単語埋め込みを用いて文脈的類似度を照合することで、語彙置換ベースラインを提案する。
• 主な語（特に動詞）を訓練および推論時にマスキングすることで、比喩的生成を促進する、新規なsequence-to-sequenceモデル「比喩マスキング」を導入する。
• 意味を保持したまま柔軟な言い換えを可能にするために、Transformerベースのアーキテクチャをseq2seqモデルに採用する。
• 訓練時にマスクされたトークンの予測を実施することで、モデルが比喩的代替表現を生成するように強制する。
• 自動評価指標とクラウドソーシングの組み合わせを用いて、比喩性、流暢さ、言い換え品質を評価する。
• 独立したレーティング担当者による人間評価を統合し、比喩性、流暢さ、意味的類似度を評価することで、出力の信頼性ある比較を確保する。

実験結果

リサーチクエスチョン

• RQ1 語彙置換アプローチは、入力文と類似した意味を保ちつつ、流暢で正確な比喩的言い換えを生成できるか？
• RQ2 ベースライン手法と比較して、比喩マスキング技術は創造的で非直訳的な比喩的表現をどれほど効果的に生成できるか？
• RQ3 BLEU や ROUGE といった標準的な自動評価指標は、語彙的重複が少ないため、比喩的言い換えの評価にどの程度不適切であるか？
• RQ4 人間がアノテートした比喩性、流暢さ、言い換え品質のレーティングは、互いにどの程度相関し、モデルのパフォーマンスと一致するか？
• RQ5 ドメイン知識および概念的マッピングは、生成された比喩的言い換えの質と創造性を向上させるために果たす役割は何か？

主な発見

• 比喩マスキングモデルは、語彙置換ベースラインに比べて、比喩的表現の生成において顕著に優れている。出力の比喩性評価が高くなっている。
• 高い比喩性を達成しているにもかかわらず、比喩マスキングモデルの言い換え品質は、語彙置換ベースラインとほぼ同等であり、意味の保存が良好であることが示された。
• クラウドソーシング評価により、比喩性と言い換え品質の間には負の相関が認められた（r = -0.112, p ≈ 0.03）。これは、非常に比喩的な表現は、直訳的意味を軽視する傾向があることを示唆している。
• 流暢さと比喩性の評価には有意な相関が認められず、これは、不流暢な文が比喩的であるとは限らないし、逆に比喩的であるからといって不流暢であるとは限らないことを示している。
• 語彙置換ベースラインは流暢で正確な言い換えを生成するが、比喩性に欠ける。これは、流暢さと創造性の間のトレードオフを示している。
• BLEU や ROUGE といった従来の自動評価指標は、語彙的重複が少ないため、比喩的言い換えの評価に不適切であり、人間による評価が不可欠である。