[논문 리뷰] Metaphoric Paraphrase Generation

Kevin Stowe, Leonardo F. R. Ribeiro외 1명|TUbilio (Technical University of Darmstadt)|2020. 02. 28.

Language, Metaphor, and Cognition참고 문헌 36인용 수 15

한 줄 요약

이 논문은 문장의 비유적 병렬문 생성이라는 새로운 작업을 제안하며, 어휘 교체 기반 모델과 '비유 마스킹'을 사용한 새로운 순서-순서 모델을 제안한다. 이 모델은 비유적 표현의 생성을 향상시키기 위해 개발되었다. 비유 마스킹 모델은 창의적이고 비유적인 표현을 생성하는 데 있어 기준 모델을 능가하며, 동시에 높은 유창성과 병렬문 품질을 유지한다. 이는 인류 평가를 통해 검증되었다.

ABSTRACT

This work describes the task of metaphoric paraphrase generation, in which we are given a literal sentence and are charged with generating a metaphoric paraphrase. We propose two different models for this task: a lexical replacement baseline and a novel sequence to sequence model, 'metaphor masking', that generates free metaphoric paraphrases. We use crowdsourcing to evaluate our results, as well as developing an automatic metric for evaluating metaphoric paraphrases. We show that while the lexical replacement baseline is capable of producing accurate paraphrases, they often lack metaphoricity, while our metaphor masking model excels in generating metaphoric sentences while performing nearly as well with regard to fluency and paraphrase quality.

연구 동기 및 목표

• 비유적 병행문 생성 작업을 정형화하기 위해 자연어 생성 분야에서 새로운 과제로 제안한다.
• 비유적 병행문 생성을 위한 데이터셋과 평가 지표의 부족을 해결하기 위해 제안한다.
• 어휘 교체 기반 모델과 비유 마스킹 기반의 새로운 순서-순서 모델을 개발하고 비교한다.
• 인류 평가를 통해 비유적 표현 수준, 유창성, 병행문 품질을 평가한다.
• 자동 평가 지표의 한계를 규명하고, 더 나은 지식 기반 생성 모델의 필요성을 제안한다.

제안 방법

• WordNet을 사용해 후보 비유적 동사를 찾고, 단어 임베딩을 활용해 문맥 유사도를 측정하여 어휘 교체 기반 모델을 제안한다.
• 핵심 어휘(특히 동사)를 학습 및 추론 중 마스킹하는 '비유 마스킹'이라는 새로운 순서-순서 모델을 도입한다. 이는 비유적 표현 생성을 장려하기 위해 설계되었다.
• 변환기 기반 아키텍처를 사용한 순서-순서 모델을 활용하여 의미를 유지하면서도 영리하게 어색함을 줄이는 재구성 가능성을 확보한다.
• 학습 중 마스킹 토큰 예측을 적용하여, 모델이 비유적 대체어를 생성하도록 유도하고, 문맥적으로 직역적인 병행문을 생성하는 것을 방지한다.
• 자동 평가 지표와 인류 평가를 조합하여 비유적 표현 수준, 유창성, 병행문 품질을 평가한다.
• 독립된 평가자들이 참여하는 인간 평가를 통합하여 비유적 표현 수준, 유창성, 의미 유사도를 평가함으로써 출력물 간 신뢰성 있는 비교를 확보한다.

실험 결과

연구 질문

• RQ1 어휘 교체 접근법은 입력 문장과 의미 유사도를 유지하면서도 자연스럽고 정확한 비유적 병행문을 생성할 수 있는가?
• RQ2 비유 마스킹 기법은 기준 방법 대비 창의적이고 비직역적인 비유적 표현 생성에 얼마나 효과적인가?
• RQ3 표준 자동 평가 지표인 BLEU와 ROUGE는 낮은 어휘 일치도로 인해 비유적 병행문 평가에 얼마나 실패하는가?
• RQ4 비유적 표현 수준, 유창성, 병행문 품질에 대한 인간 평가 점수 간 상관관계와 모델 성능 간 상관관계는 어떠한가?
• RQ5 도메인 지식과 개념적 매핑은 비유적 병행문 생성 품질과 창의성 향상에 어떤 역할을 하는가?

주요 결과

• 비유 마스킹 모델은 비유적 표현 생성에서 어휘 교체 기반 모델을 뚜렷이 앞서며, 더 높은 비유적 표현 수준 점수를 기록한다.
• 비유적 표현 수준이 높음에도 불구하고, 비유 마스킹 모델의 병행문 품질은 어휘 교체 기반 모델과 거의 동일한 수준을 유지하여 의미 유지 능력이 뛰어나다는 것을 시사한다.
• 인류 평가 결과, 비유적 표현 수준과 병행문 품질 간에 부정적 상관관계가 존재함을 확인했다(r = -0.112, p ≈ 0.03), 이는 매우 비유적인 표현이 직역적 의미를 덜 강조할 수 있음을 시사한다.
• 유창성과 비유적 표현 수준 간 유의미한 상관관계가 없음을 확인하여, 문장이 어색한지 여부가 비유적 표현 여부에 영향을 주지 않음을 의미한다.
• 어휘 교체 기반 모델은 자연스럽고 정확한 병행문을 생성하지만 비유적 표현 수준이 떨어지므로, 유창성과 창의성 사이의 상충관계를 드러낸다.
• 전통적인 자동 평가 지표인 BLEU와 ROUGE는 낮은 어휘 일치도로 인해 비유적 병행문 평가에 부적합하므로, 인간 평가의 필요성이 강조된다.