[논문 리뷰] Generating similes effortlessly like a Pro: A Style Transfer Approach for Simile Generation

Tuhin Chakrabarty, Smaranda Muresan외 1명|arXiv (Cornell University)|2020. 09. 18.

Natural Language Processing Techniques참고 문헌 34인용 수 4

한 줄 요약

이 논문은 문체 전이 접근법인 SCOPE를 제안하며, 근사어와 그에 해당하는 literal 문장의 대규모 자동 구축된 병렬 코퍼스를 기반으로 BART를 미세조정하여 창의적인 비유를 생성한다. COMET에서 제공하는 공통 지식을 활용하여, 문학 전문가의 비유보다 37%의 비중에서 더 높은 평가를 받고, 베이스라인보다 68-82%의 비중에서 뛰어난 성능을 보이며, 비유어법 생성 분야에서 강력한 성능을 입증한다.

ABSTRACT

Literary tropes, from poetry to stories, are at the crux of human imagination and communication. Figurative language such as a simile go beyond plain expressions to give readers new insights and inspirations. In this paper, we tackle the problem of simile generation. Generating a simile requires proper understanding for effective mapping of properties between two concepts. To this end, we first propose a method to automatically construct a parallel corpus by transforming a large number of similes collected from Reddit to their literal counterpart using structured common sense knowledge. We then propose to fine-tune a pretrained sequence to sequence model, BART~\cite{lewis2019bart}, on the literal-simile pairs to gain generalizability, so that we can generate novel similes given a literal sentence. Experiments show that our approach generates $88\%$ novel similes that do not share properties with the training data. Human evaluation on an independent set of literal statements shows that our model generates similes better than two literary experts extit{37\%}\footnote{We average 32.6\% and 41.3\% for 2 humans.} of the times, and three baseline systems including a recent metaphor generation model extit{71\%}\footnote{We average 82\% ,63\% and 68\% for three baselines.} of the times when compared pairwise.\footnote{The simile in the title is generated by our best model. Input: Generating similes effortlessly, output: Generating similes extit{like a Pro}.} We also show how replacing literal sentences with similes from our best model in machine generated stories improves evocativeness and leads to better acceptance by human judges.

연구 동기 및 목표

• 비유 생성을 위한 훈련 데이터 부족 문제를 해결하기 위해, literal 문장과 그 비유적 대응어의 대규모 병렬 코퍼스를 자동으로 구축한다.
• 비유 생성을 동일한 특성을 가진 표현으로의 변환으로 간주하여, 문체 전이 작업으로 정의한다.
• 훈련 과정에 구조화된 공통 지식을 통합하여 생성된 비유의 품질과 창의성을 향상시킨다.
• 생성된 비유가 후속 창의적 텍스트 생성 작업(예: 스토리의 생동감 및 인간 선호도)에 미치는 영향을 평가한다.

제안 방법

• Reddit에서 'like a' 키워드를 사용하여 비유를 자동으로 수집하여 초기 병렬 쌍 세트를 구성한다.
• COMET(공통 지식 모델)를 활용하여 각 비유에서 비교어 'like'를 제거하고, 수단을 그 관련 속성으로 대체함으로써 해당 비유의 literal 표현으로 변환한다.
• 수신된 [literal, simile] 쌍에 대해 BART의 순서-순서 모델을 미세조정하여 literal 표현에서 도식적 표현으로의 문체 전이를 학습한다.
• COMET를 통해 구조화된 공통 지식을 활용하여 생성된 비유가 의미적으로 일관되고 의미 있는 속성 매핑을 유지하도록 보장한다.
• 훈련된 모델을 활용해 기계가 생성한 스토리의 후처리를 수행하여 literal 묘사를 생성된 비유로 대체함으로써 생동감을 향상시킨다.
• Amazon Mechanical Turk에서 인간 평가를 실시하여 모델 출력 결과를 문학 전문가 및 기존 베이스라인 시스템과 비교한다.

실험 결과

연구 질문

• RQ1 원거리 감독과 공통 지식 지식을 활용하여 literal 문장과 그 비유적 대응어의 대규모 병렬 코퍼스를 자동으로 구축할 수 있는가?
• RQ2 이러한 코퍼스에 대해 BART와 같은 사전 훈련된 순서-순서 모델을 미세조정하면, 훈련 데이터에서 단순히 암기된 것이 아닌 고급 품질의 새로운 비유를 생성할 수 있는가?
• RQ3 모델이 생성한 비유는 인간 문학 전문가가 작성한 비유와 비교해 품질과 창의성 면에서 어떻게 평가되는가?
• RQ4 생성된 비유가 기계가 생성한 스토리의 생동감과 인간의 선호도에 얼마나 기여하는가?

주요 결과

• 제안된 방법은 훈련 데이터와 동일한 속성을 공유하지 않는 비유의 88%를 생성하여 강력한 일반화 능력과 창의성의 증거를 보였다.
• 인간 평가 결과, 모델의 비유가 두 명의 문학 전문가의 비유보다 평균 37%의 비중에서 더 선호되었다.
• 최근에 발표된 은유 생성 모델을 포함한 세 가지 기존 베이스라인 시스템과의 쌍대 비교에서, 모델은 68%에서 82%의 비중에서 승리했다.
• 모델이 생성한 비유를 활용해 기계가 생성한 스토리를 후처리하면 생동감이 크게 향상되었고, 인간 평가자들 사이에서 더 선호되었다.
• COMET를 통한 공통 지식 통합은 의미적으로 의미 있고 맥락에 부합하는 비유 생성에 필수적이었다.
• 공통 지식을 보완한 데이터를 활용한 문체 전이가 창의적 비유어법 생성에 효과적으로 작용하며, 창의적 글쓰기 분야의 자연어 생성(NLG)에 새로운 방향을 제시한다.