[논문 리뷰] CMDAG: A Chinese Metaphor Dataset with Annotated Grounds as CoT for Boosting Metaphor Generation

Yujie Shao, Xinrong Yao외 6명|arXiv (Cornell University)|2024. 02. 20.

Language, Metaphor, and CognitionPsychology인용 수 3

한 줄 요약

이 논문은 개념적 매핑을 강조하는 28,000개의 문장을 포함한 대규모 중국어 은유 데이터셋인 CMDAG를 소개한다. 지도 기반 체인 오브 써포트(Chain-of-Thought, CoT) 프롬프팅을 통합하여 중국어에서 유창하고 창의적이며 맥락에 적절한 은유의 생성을 향상시켜, 기존의 접근 방식에 비해 은유 생성 작업에서 모델 성능을 크게 향상시킨다.

ABSTRACT

Metaphor is a prominent linguistic device in human language and literature, as they add color, imagery, and emphasis to enhance effective communication. This paper introduces a large-scale high quality annotated Chinese Metaphor Corpus, which comprises around 28K sentences drawn from a diverse range of Chinese literary sources, such as poems, prose, song lyrics, etc. To ensure the accuracy and consistency of our annotations, we introduce a comprehensive set of guidelines. These guidelines address the facets of metaphor annotation, including identifying tenors, vehicles, and grounds to handling the complexities of similes, personifications, juxtapositions, and hyperboles. Breaking tradition, our approach to metaphor generation emphasizes grounds and their distinct features rather than the conventional combination of tenors and vehicles. By integrating "ground" as a CoT (Chain of Thoughts) input, we are able to generate metaphors that resonate more with real-world intuition. We test generative models such as Belle, Baichuan, and Chinese-alpaca-33B using our annotated corpus. These models are able to generate creative and fluent metaphor sentences more frequently induced by selected samples from our dataset, demonstrating the value of our corpus for Chinese metaphor research. The code is available in https://github.com/JasonShao55/Chinese_Metaphor_Explanation.

연구 동기 및 목표

• 높은 품질의 구조화된 중국어 은유 데이터셋이 개념적 지도(喻意)를 포함하지 않아 은유 생성 성능 향상에 어려움을 겪고 있는 문제를 해결하기 위해.
• 은유의 본체(本体), 비유체(喻体), 지도(喻意)를 일관되고 정확하게 식별할 수 있도록 철저한 표준화된 표준화 프로세스를 개발하기 위해.
• 지도를 중간 추론 단계로 사용하는 체인 오브 써포트(Chain-of-Thought, CoT) 프롬프팅의 효과를 탐색하여 은유 생성을 유도하기 위해.
• 지도 기반 CoT가 중국어 은유 생성의 유창성, 창의성, 진정성에 어떤 영향을 미치는지 평가하기 위해.
• CMDAG를 활용하여 대규모 언어 모델(LLM)의 인간처럼 은유를 생성하는 능력을 향상시키고 평가하기 위한 기초 자료를 제공하기 위해.

제안 방법

• 시가, 산문, 가사 등 다양한 중국어 문학 자료에서 유래한 27,989개의 은유문장을 본체(本体), 비유체(喻体), 지도(喻意)로 명시적으로 표기하여 애너테이션을 수행한다.
• 은유, 은유적 표현, 인격화, 夸張 등을 표준화하여 식별할 수 있도록 포괄적인 애너테이션 가이드라인을 제작하며, 특히 지도의 특징에 특별한 주의를 기울인다.
• 지도를 추론 단계로 활용하는 새로운 CoT 기반 프롬프팅 전략을 제안하여, 본체-비유체 쌍 또는 본체-지도 쌍으로부터 LLM이 은유를 생성하도록 유도한다.
• 두 가지 평가 설정을 시행한다: (1) 본체와 비유체가 주어졌을 때, CoT를 통해 지도를 생성한다; (2) 본체와 지도가 주어졌을 때, CoT를 통해 비유체를 생성한다.
• CMDAG 데이터셋을 사용하여 지도 기반 CoT 프롬프팅 하에서 오픈소스 LLM(Belle, Baichuan, Chinese-alpaca-33B)를 피니테인 및 평가한다.
• 명확성, 창의성, 진정성 등의 기준을 바탕으로 인간 평가를 실시하여 모델 출력을 평가하고, 평가 척도 간 상관관계를 분석한다.

실험 결과

연구 질문

• RQ1 지도(喻意)를 체인 오브 써포트(CoT) 구성 요소로 통합함으로써 중국어 은유 생성 품질이 어떻게 향상되는가?
• RQ2 기본 프롬프팅 대비 지도 기반 CoT가 은유 생성의 유창성, 창의성, 진정성에 얼마나 높은 영향을 미치는가?
• RQ3 CMDAG와 CoT로 피니테인된 다양한 대규모 언어 모델(LLMs)이 중국어 은유 생성에서 어떤 성능을 보이는가?
• RQ4 인간 평가에서 명확성, 창의성, 진정성 등의 평가 기준 간 상관관계는 어떻게 되는가?
• RQ5 명시적인 지도 애너테이션을 포함한 데이터셋이 맥락에 적절하고 개념적으로 일관된 은유 생성 능력을 향상시키는 데 상당한 기여를 할 수 있는가?

주요 결과

• 지도 기반 CoT는 LLM이 생성하는 은유문장 중 합리적인 문장 비율을 크게 높이며, 특히 지도 추론 없이 표준 프롬프팅을 사용하는 경우에 비해 뚜렷한 향상을 보인다.
• 더 광범위한 중국어 사전 훈련 데이터를 가진 LLM(Baichuan 등)은 GPT-3.5 및 GPT-4와 같은 일반 다국어 모델보다 중국어 은유 생성에서 뛰어난 성능을 보이며, 이는 도메인 특화 사전 훈련이 성능 향상에 기여함을 시사한다.
• Belle는 GPT-4 및 GPT-3.5에 비해 유의미하게 적은 수의 합리적인 은유를 생성하며, 이는 모델 아키텍처와 사전 훈련 데이터의 품질이 이 작업에서 매우 중요하다는 점을 보여준다.
• 인간 평가자들은 은유 평가에서 창의성을 진정성보다 우선시하며, 특히 CoT 기반 설정에서는 명확성이 더 중요하게 작용함을 확인하여 추론 단계가 인간 평가 기준에 영향을 미칠 수 있음을 시사한다.
• 평가 척도 간 피어슨 상관계수 분석 결과, 명확성과 창의성 간 중간 정도의 상관관계(r=0.28)를 보이고, 창의성과 진정성 간에는 높은 상관관계(r=0.71)를 보이며, 이는 창의적인 은유가 더 진정성 있는 것으로 평가될 가능성이 높다는 것을 의미한다.
• 본 연구는 지도 기반 CoT가 모델의 새로운 비유체나 지도 탐색을 略로 줄일 수 있음을 밝혀내며, 은유 생성에서 일관성과 독창성 사이에 상호 보완적인 Trade-off 관계가 존재할 수 있음을 시사한다.