[論文レビュー] CMDAG: A Chinese Metaphor Dataset with Annotated Grounds as CoT for Boosting Metaphor Generation

Yujie Shao, Xinrong Yao+6 more|arXiv (Cornell University)|Feb 20, 2024

Language, Metaphor, and CognitionPsychology被引用数 3

ひとこと要約

本稿では、28,000文の比喩文を含み、十者（本体）、喩体（喻体）、および比喩意図（喻意）を明示的にアノテートした大規模な中国語比喩データセットCMDAGを紹介する。本研究は、概念的対応の強調を目的としており、比喩意図に基づくChain-of-Thought（CoT）プロンプティングを統合することで、中国語における自然で創造的かつ文脈的に適切な比喩の生成を向上させ、従来のアプローチと比較して比喩生成タスクにおけるモデル性能を顕著に向上させる。

ABSTRACT

Metaphor is a prominent linguistic device in human language and literature, as they add color, imagery, and emphasis to enhance effective communication. This paper introduces a large-scale high quality annotated Chinese Metaphor Corpus, which comprises around 28K sentences drawn from a diverse range of Chinese literary sources, such as poems, prose, song lyrics, etc. To ensure the accuracy and consistency of our annotations, we introduce a comprehensive set of guidelines. These guidelines address the facets of metaphor annotation, including identifying tenors, vehicles, and grounds to handling the complexities of similes, personifications, juxtapositions, and hyperboles. Breaking tradition, our approach to metaphor generation emphasizes grounds and their distinct features rather than the conventional combination of tenors and vehicles. By integrating "ground" as a CoT (Chain of Thoughts) input, we are able to generate metaphors that resonate more with real-world intuition. We test generative models such as Belle, Baichuan, and Chinese-alpaca-33B using our annotated corpus. These models are able to generate creative and fluent metaphor sentences more frequently induced by selected samples from our dataset, demonstrating the value of our corpus for Chinese metaphor research. The code is available in https://github.com/JasonShao55/Chinese_Metaphor_Explanation.

研究の動機と目的

• 高品質で構造化された中国語比喩データセットが不足している現状を是正し、比喩生成の向上に寄与する概念的比喩意図（喻意）を含むデータセットの構築。
• 比喩の十者、喩体、比喩意図を一貫して正確に特定できる、きめ細やかなアノテーションフレームワークの開発。
• 比喩意図を中間的推論ステップとして用いるChain-of-Thought（CoT）プロンプティングの有効性の検証。
• 比喩意図に基づくCoTが中国語比喩生成における流暢さ、創造性、真正性に与える影響の評価。
• CMDAGを用いた大規模言語モデル（LLM）の訓練および評価の有効性を実証。

提案手法

• 中国語文学的資料（詩、随筆、歌詞など）から抽出した27,989件の比喩的文を、明示的な十者（本体）、喩体（喻体）、比喩意図（喻意）の各要素でアノテート。
• 比喩、隠喩、擬人法、誇張法を標準化して識別できる包括的なアノテーションガイドラインを設計し、特に比喩意図の特徴に注目。
• 比喩意図を推論ステップとして用いる、新規のCoTベースのプロンプティング戦略を提案。この戦略により、十者-喩体ペアや十者-比喩意図ペアからLLMが比喩を生成できるように支援。
• 二段階の評価設定を実施：(1) 十者と喩体が与えられた場合、CoTを用いて比喩意図を生成；(2) 十者と比喩意図が与えられた場合、CoTを用いて喩体を生成。
• CMDAGデータセットを用いて、CoTプロンプティング下でオープンソースLLM（Belle、Baichuan、Chinese-alpaca-33B）を微調整し、評価を実施。
• 明確さ、創造性、真正性を基準とした人間評価を実施し、評価項目間の相関関係を分析。

実験結果

リサーチクエスチョン

• RQ1 比喩意図（喻意）をChain-of-Thought（CoT）の一部として統合することで、生成される中国語比喩の質がどのように向上するか？
• RQ2 標準的プロンプティングと比較して、比喩意図に基づくCoTが、比喩生成における流暢さ、創造性、真正性にどの程度向上効果をもたらすか？
• RQ3 CMDAGとCoTを用いて微調整された、異なる大規模言語モデル（LLM）は、中国語比喩生成においてどの程度の性能を示すか？
• RQ4 人間による評価において、明確さ、創造性、真正性といった評価基準の間にはどのような関係があるか？
• RQ5 明示的な比喩意図アノテーションを備えたデータセットは、文脈的に適切で概念的に整合性のある比喩を生成するLLMの性能を顕著に向上させ得るか？

主な発見

• 比喩意図に基づくCoTは、比喩意図の推論を含まない標準的プロンプティングと比較して、LLMが生成する比喩的文のうち妥当なものの割合を顕著に増加させる。
• 中国語の大量事前学習データを多く含むLLM（例：Baichuan）は、GPT-3.5 や GPT-4 よりも中国語比喩生成において優れた性能を示す。これは、分野特化型の事前学習が性能向上に寄与することを示唆している。
• BelleはGPT-4 や GPT-3.5 と比較して、はるかに少ない妥当な比喩を生成する。これは、モデルアーキテクチャーや事前学習データの質が、本タスクにおいて極めて重要であることを示している。
• 人間評価者は、比喩評価において創造性を真正性よりも重視するが、CoTを用いる設定では明確さの重要性が増す。これは、推論ステップが関与する際、人間の判断基準が変化することを示唆している。
• 評価基準間のピアソン相関係数を算出すると、明確さと創造性の間には中程度の相関（r=0.28）が、創造性と真正性の間には高い相関（r=0.71）が認められる。これは、創造的な比喩は真正性としてより高く評価されやすいことを示している。
• 本研究では、比喩意図に基づくCoTが、新規の喩体や比喩意図の探索をわずかに制限する可能性があることが判明。これは、比喩生成において一貫性と独自性のトレードオフが生じ得ることを示唆している。