[논문 리뷰] Humor in Word Embeddings: Cockamamie Gobbledegook for Nincompoops

Limor Gultchin, Geneviève Patterson외 3명|arXiv (Cornell University)|2019. 02. 08.

Humor Studies and Applications참고 문헌 26인용 수 5

한 줄 요약

이 논문은 단일 단어 유머의 다중 차원, 즉 부조화 이론, 우월성 이론, 해소 이론을 포함한 유머 이론을 식별함으로써 벡터 공간 내 선형 방향과 유머 평가 점수 간의 상관관계를 통해 단어 임베딩(WEs)이 단어 유머를 포착할 수 있음을 보여준다. 개인의 유머 감각은 소수의 평가된 단어에서 유도된 벡터로 모델링될 수 있으며, 이는 새로운 단어에 대한 유머 선호도를 정확하게 예측할 수 있게 하며, '내가 듣는 사람을 아는가' 테스트에서 최대 78.1%의 성공률을 기록한다.

ABSTRACT

While humor is often thought to be beyond the reach of Natural Language Processing, we show that several aspects of single-word humor correlate with simple linear directions in Word Embeddings. In particular: (a) the word vectors capture multiple aspects discussed in humor theories from various disciplines; (b) each individual's sense of humor can be represented by a vector, which can predict differences in people's senses of humor on new, unrated, words; and (c) upon clustering humor ratings of multiple demographic groups, different humor preferences emerge across the different groups. Humor ratings are taken from the work of Engelthaler and Hills (2017) as well as from an original crowdsourcing study of 120,000 words. Our dataset further includes annotations for the theoretically-motivated humor features we identify.

연구 동기 및 목표

• 단어 임베딩이 유머 인식의 개인적 차이를 모델링할 수 있는지 조사하는 것.
• 단어 임베딩에 반영된 유머 이론(예: 부조화, 우월성, 해소)은 무엇인지 특정하는 것.
• 소수의 평가된 예시만을 사용하여 새로운 단어에 대한 개인의 유머 선호도를 예측하는 방법을 개발하는 것.
• 12만 개의 단어로 구성된 유머 평가 및 이론 기반 주석이 부착된 대규모 공개 데이터셋을 제작하고 배포하는 것.
• 단어 임베딩이 협업 필터링을 초월하여 냉시작 환경에서의 유머 예측에 일반화 가능한지를 평가하는 것.

제안 방법

• 저자는 엔겔탈러와 힐스(2017)의 평균 유머 평가 점수와 새로운 12만 개 단어에 대한 공동 설문 조사 결과와의 상관관계를 통해 사전 학습된 단어 임베딩에서 '유머 벡터'를 식별한다.
• 216개의 매우 유머러스한 단어를 6방향 비교를 통해 평가하기 위해 공동 설문 조사를 실시하여 개인의 유머 감각 모델링을 가능하게 한다.
• 각 참가자의 유머 감각은 그들이 평가한 유머러스한 단어들의 벡터 평균으로 표현되며, 이는 개인화된 '유머 감각 임베딩'을 형성한다.
• '내가 듣는 사람을 아는가' 테스트를 도입하여 일반화 능력을 평가한다: 개인의 훈련 단어 벡터만을 기반으로 두 개의 평가되지 않은 단어 중에서 그가 더 유머러스하게 느낄 만한 단어를 예측하는 것이다.
• 이 방법은 코사인 유사도를 통한 벡터 거리 기반으로 작동한다: (r₁ - r₂) · (v₁ - v₂) > 0 일 때 일치가 예측된다. 여기서 r과 v는 각각 훈련 및 테스트 단어의 벡터 평균을 나타낸다.
• 저자는 6가지 유머 특징(유머 이론에서 유도됨)을 기반으로 1,500개의 단어를 주석 처리하여 단어 임베딩이 어떤 특징을 포착하는지 분석할 수 있도록 한다.

실험 결과

연구 질문

• RQ1 단어 임베딩이 부조화, 우월성, 해소와 같은 다양한 이론적 차원의 유머를 포착할 수 있는가?
• RQ2 소수의 평가된 단어만을 사용하여 개인의 유머 감각을 단어 임베딩 공간 내의 벡터로 효과적으로 모델링할 수 있는가?
• RQ3 이러한 개인화된 유머 임베딩이 완전히 평가되지 않은 단어에 대한 선호도 예측에 얼마나 잘 일반화되는가?
• RQ4 나이와 성별과 같은 인구 통계적 요소가 단어 임베딩에 의해 포착된 유머 선호도 패턴과 어떻게 관련되어 있는가?
• RQ5 단어 임베딩이 협업 필터링을 초월하여 냉시작 환경에서 유머를 예측하는 데 일반화 가능한가?

주요 결과

• 단어 임베딩 내 유머 벡터는 r > 0.7의 상관관계를 보이며, 이는 유머 성향을 강력하게 통계적으로 포착하고 있음을 시사한다.
• 개인의 유머 감각은 단지 5~35개의 평가된 단어만으로도 정확하게 모델링될 수 있으며, 어려운 '내가 듣는 사람을 아는가' 테스트에서 65.0%의 성공률을 기록한다.
• 간단한 '내가 듣는 사람을 아는가' 테스트에서는 78.1%의 성공률을 기록하여, 새로운 단어에 대한 일반화 능력이 뛰어나다는 것을 보여준다.
• 가장 유머러스하게 평가된 단어들은 다수의 유머 특징을 보이며, 예를 들어 금기어(해소 이론)나 비난어(우월성 이론) 등으로 인해 다차원적 유머임을 시사한다.
• 유머 감각 임베딩의 클러스터링 분석 결과, 나이와 성별에 따라 유의미한 인구 통계적 차이가 드러나며, 그룹 간 유머 선호도 패턴의 다양성을 반영한다.
• 이 연구는 12만 개의 단어로 구성된 공개 데이터셋을 배포하며, 이는 유머 평가 및 6가지 이론 기반 주석이 포함되어 있어 향후 연구를 지원한다.