[論文レビュー] MERMAID: Metaphor Generation with Symbolism and Discriminative Decoding

Tuhin Chakrabarty, Xurui Zhang+2 more|arXiv (Cornell University)|Mar 11, 2021

Language, Metaphor, and Cognition参考文献 45被引用数 4

ひとこと要約

この論文では、比喩的意味と判別的デコードを活用して、比喩的でない文を比喩に変換するモデルMERMAIDを提案する。マスクされた言語モデルと常識的推論を用いて自動的に93,498件の対応するコーパスを構築し、比喩識別器を用いて微調整したBARTを用いることで、人間評価において66％の好まれる割合を示し、ベースラインを上回る高品質な比喩を生成する。また、タスクベースの評価では人間が書いた詩の質を向上させ、68％の好まれる割合を示した。

ABSTRACT

Generating metaphors is a challenging task as it requires a proper understanding of abstract concepts, making connections between unrelated concepts, and deviating from the literal meaning. In this paper, we aim to generate a metaphoric sentence given a literal expression by replacing relevant verbs. Based on a theoretically-grounded connection between metaphors and symbols, we propose a method to automatically construct a parallel corpus by transforming a large number of metaphorical sentences from the Gutenberg Poetry corpus (Jacobs, 2018) to their literal counterpart using recent advances in masked language modeling coupled with commonsense inference. For the generation task, we incorporate a metaphor discriminator to guide the decoding of a sequence to sequence model fine-tuned on our parallel data to generate high-quality metaphors. Human evaluation on an independent test set of literal statements shows that our best model generates metaphors better than three well-crafted baselines 66% of the time on average. A task-based evaluation shows that human-written poems enhanced with metaphors proposed by our model are preferred 68% of the time compared to poems without metaphors.

研究の動機と目的

• 比喩的でない文から比喩的文への変換のための対応学習データの不足に対処すること。
• 比喩的でない文と比喩的文との間に意味的整合性を保ちつつ、語彙の多様性を可能にすること。
• 自己回帰的モデルが比喩的言語ではなく比喩的でない言語を生成する傾向を克服すること。
• 比喩識別器に従った判別的デコードによって比喩の質を向上させること。
• 本モデルが現実のクリエイティブライティングタスク（例：人間の詩の質を向上させること）に与える影響を評価すること。

提案手法

• マスクされた言語モデルとCOMETの常識的知識を用いて、ゲーティンゲル・ポエジー・コーパスの比喩的文を変換することで、93,498組の[比喩的でない文, 比喩的文]の対応コーパスを構築する。
• 象徴的意味が保存されるように、ConceptNetのSymbolOf関係を用いて、比喩を共有される概念的象徴に根拠づける。
• 構築した対応コーパス上でBARTのエンコーダー・デコーダー構造を微調整し、比喩的でない文から比喩的文への変換を学習する。
• デコード中に判別的比喩検出器を報酬モデルとして統合し、生成器がより比喩的適切な出力を指向するように誘導する。
• 推論時に、比喩検出モデル（Liu et al., 2019）を用いた再ランク付けを実施し、生成された仮説の品質を向上させる。
• 人間評価とタスクベースの評価を用いて、単体生成および現実のクリエイティブライティングタスクにおけるモデルの性能を検証する。

実験結果

リサーチクエスチョン

• RQ1 象徴的意味を効果的に活用して、比喩的でない文から比喩的文への変換のための大規模な対応コーパスを構築できるか？
• RQ2 判別的比喩識別器をデコード中に統合することで、生成された文の質と比喩的整合性が向上するか？
• RQ3 提案手法が人間評価において、強力なベースラインよりも好まれる比喩を生成できるか？
• RQ4 本モデルをクリエイティブライティング補助として用いることで、人間が書いた詩の質を向上させられるか？
• RQ5 象徴的意味を保存することで、比喩的でない出力と比喩的出力との間の意味的整合性がどの程度向上するか？

主な発見

• マスクされた言語モデルと常識的推論を用いて、象徴的意味に根拠を置いた93,498組の[比喩的でない文, 比喩的文]の対応コーパスを構築した。
• 人間評価では、最良のMERMAIDモデルが、3つの洗練されたベースラインよりも66％の割合で好まれた。
• 21％の比較で文学的専門家ベースラインを上回り、81％のケースで強力なベースラインを上回った。
• タスクベースの評価では、MERMAIDが生成した比喩を用いて強化された詩が、比喩のない詩よりも68％の割合で好まれた。
• デコード中に比喩識別器を統合することで、生成出力の質と比喩的適切性が顕著に向上した。
• 未学習の比喩的でない入力に対しても、強い汎化性能を示し、意味的整合性を保ちつつ多様な比喩表現を導入できた。