[논문 리뷰] Pun Generation with Surprise

He He, Nanyun Peng외 1명|arXiv (Cornell University)|2019. 04. 15.

Humor Studies and Applications참고 문헌 29인용 수 4

한 줄 요약

이 논문은 국지적-전반적 놀라움 원리에 기반한 비지도 풀어쓰기 풀어쓰기 방법인 SurGen을 제안한다. 이 방법은 문장의 국지적 맥락에서의 놀라움과 전반적 맥락에서의 기대감을 대비시켜, 농담 단어와 그 음운이 같은 단어의 대체어 간의 놀라움 수준을 비교한다. 언어 모델과 스킵그램 단어 제안을 사용한 검색-수정 프레임워크를 통해 SurGen은 인간 평가에서 31%의 성공률을 달성하였으며, 이는 신경망 기반 기준 모델의 9% 성공률을 삼배로 뛰어넘는 성과이다. 이는 대규모 애너테이션된 코퍼스 없이도 효과적이고 새로운 농담 생성이 가능함을 보여준다.

ABSTRACT

We tackle the problem of generating a pun sentence given a pair of homophones (e.g., "died" and "dyed"). Supervised text generation is inappropriate due to the lack of a large corpus of puns, and even if such a corpus existed, mimicry is at odds with generating novel content. In this paper, we propose an unsupervised approach to pun generation using a corpus of unhumorous text and what we call the local-global surprisal principle: we posit that in a pun sentence, there is a strong association between the pun word (e.g., "dyed") and the distant context, as well as a strong association between the alternative word (e.g., "died") and the immediate context. This contrast creates surprise and thus humor. We instantiate this principle for pun generation in two ways: (i) as a measure based on the ratio of probabilities under a language model, and (ii) a retrieve-and-edit approach based on words suggested by a skip-gram model. Human evaluation shows that our retrieve-and-edit approach generates puns successfully 31% of the time, tripling the success rate of a neural generation baseline.

연구 동기 및 목표

• 크레에이티브 콘텐츠 생성을 위한 대규모 농담 코퍼스 부족과 지도 학습 기반 생성의 한계를 해결하기 위해.
• 기존 데이터를 모방하는 것이 아니라 새로운 창의적인 문장을 생성하는 비지도 접근 방식을 개발하기 위해.
• 국지적 맥락과 전반적 맥락 간의 놀라움 대비에 기반한 유머 원리의 수식화를 위해.
• 신경망 시퀀스 모델을 넘어서 놀라움과 부조화의 인지 원리를 통합하여 농담 생성을 향상시키기 위해.

제안 방법

• 국지-전반적 놀라움 원리 제안: 농담 단어는 국지적으로 놀랍다(즉각적 맥락에서 이질적이다) 하지만 전반적으로 기대된다(더 넓은 맥락에 의해 지지된다). 반면 대체 단어는 반대의 성향을 띤다.
• 국지적 및 전반적 맥락을 기반으로 농담 단어와 대체 단어의 로그우도 비율을 놀라움 지표로 정의한다: $ S(c) = -\log \frac{p(w^p|c)}{p(w^a|c)} $.
• 검색-수정 프레임워크를 구현: 스킵그램 임베딩을 사용해 비유머적 코퍼스에서 후보 문장을 검색한 후, 농담 단어를 삽입하도록 수정한다.
• 신경망 언어 모델을 사용해 문장의 문법성과 유창성에 대해 평가하고 개선한다.
• 농담 단어가 국지적으로 놀랍지만 전반적으로 타당한 문장을 선택함으로써 놀라움 원리를 실현한다.
• 유창성과 통일성을 향상시키기 위해 신경망 스무딩 모델을 훈련시킨다.

실험 결과

연구 질문

• RQ1 국지적 맥락과 전반적 맥락 간의 놀라움 대비가 농담의 유머성 여부를 신뢰성 있게 식별하는 신호로 작용할 수 있는가?
• RQ2 국지-전반적 놀라움 원리를 효과적으로 실현하여 대규모 애너테이션된 학습 데이터 없이도 창의적이고 새로운 농담을 생성할 수 있는가?
• RQ3 이 원리를 기반으로 한 검색-수정 접근 방식이 농담 품질과 성공률 면에서 종단간 신경망 생성 방식을 능가하는가?
• RQ4 놀라움 지표가 인간이 평가한 농담의 웃음 요소와 얼마나 상관이 있는가?
• RQ5 이 방법을 통해 문법적으로 올바르고 인간이 웃음을 터뜨릴 정도로 유머감각 있는 농담을 생성할 수 있는가?

주요 결과

• 국지-전반적 놀라움 지표는 인간이 평가한 농담의 웃음 요소와 강한 상관관계를 보이며, 이는 인지적으로 타당한 결과임을 입증한다.
• SurGen의 검색-수정 시스템은 인간 평가에서 31%의 성공률을 기록하였으며, 이는 신경망 기반 기준 모델의 9% 성공률을 삼배로 뛰어넘는 성과이다.
• 인간 평가자들은 SurGen이 생성한 농담이 신경망 기반 기준 모델의 농담보다 유머감각이 뛰어나다고 평가했다.
• 이 방법은 농담 단어가 국지적으로 예측 불가능하지만 전반적으로 타당한 맥락에서 놀라움 수준의 대비를 만들어내어 농담을 성공적으로 생성한다.
• 이 방법은 150개의 음운이 같은 단어 쌍에 대해 일반화되며, 농담 전용 데이터에 대한 미세조정 없이도 강건함을 보였다.
• 연구는 창의적 새로운 개념과 언어적 난잡함을 구분하는 데의 어려움을 드러내며, 향후 연구에서 이 두 개념을 더 잘 분리해야 한다고 제안한다.