[논문 리뷰] #HashtagWars: Learning a Sense of Humor

Peter Potash, Alexey Romanov외 1명|arXiv (Cornell University)|2016. 12. 09.

Humor Studies and Applications참고 문헌 19인용 수 6

한 줄 요약

이 논문은 코미디 센트럴의 @midnight 쇼에서 방영된 특정 해시태그에 대한 유머러스한 트위터 반응을 대규모로 수집한 #HashtagWars (HW) 데이터셋을 소개한다. 이는 이진 유머 검출이 아닌 비교적 유머 순위 매기기 작업을 가능하게 한다. 반가소한 유머를 다루는 데 핵심적인 요소인 농담과 보통 어휘 외의 단어들을 효과적으로 처리할 수 있는 특성 덕분에, 저자들은 문자 수준의 신경망 모델이 토큰 수준의 모델보다 뛰어난 성능을 보임을 입증한다. 이는 63.7%의 정확도를 기록한다.

ABSTRACT

In this work, we present a new dataset for computational humor, specifically comparative humor ranking, which attempts to eschew the ubiquitous binary approach to humor detection. The dataset consists of tweets that are humorous responses to a given hashtag. We describe the motivation for this new dataset, as well as the collection process, which includes a description of our semi-automated system for data collection. We also present initial experiments for this dataset using both unsupervised and supervised approaches. Our best supervised system achieved 63.7% accuracy, suggesting that this task is much more difficult than comparable humor detection tasks. Initial experiments indicate that a character-level model is more suitable for this task than a token-level model, likely due to a large amount of puns that can be captured by a character-level model.

연구 동기 및 목표

• 이진 유머 검출의 한계를 해결하기 위해 주관적이고 쇼 수준의 유머 평가 기반 비교 유머 순위 매기기 작업을 가능하게 하기 위해.
• 실제 TV 코미디 쇼에서 유명한 유머 평가 기준을 갖춘, 대규모 실생활 해시태그 반응 유머 데이터셋을 구축하기 위해.
• 유저가 특정한 유머 감성에 따라 유머를 순위 매길 수 있는 계산 모델이, 유머를 고립적으로 탐지하는 것과는 달리, 특정한 감성 기반으로 유머를 순위 매길 수 있는지 탐구하기 위해.
• 짧은 텍스트에서 농담 기반 유머를 포착하는 데에 효과적인 다양한 신경망 아키텍처(특히 문자 수준 모델 대비 토큰 수준 모델)의 성능을 평가하기 위해.
• 의미적 임베딩 외에 외부 지식이나 모델 앙상블의 역할이 유머 이해를 향상시키는 데에 어떤 영향을 미치는지 탐색하기 위해.

제안 방법

• 데이터셋은 @midnight TV 쇼에서 제공한 레이블을 기반으로 한 상대적 유머 순위를 활용해, 시청자들이 제출한 트위터 반응을 수집하는 반자동 시스템을 통해 수집된다.
• 이 작업은 쌍별 비교로 구성되며, 동일한 해시태그에 대해 두 트윗이 주어졌을 때, 쇼에서 더 유머러스하게 여긴 쪽을 예측하는 것을 목표로 한다.
• 감독 학습 모델은 문자 수준의 RNN 또는 HTE(Heterogeneous Text Embeddings)를 활용한 평균 토큰 임베딩에서 유도된 입력 표현을 사용하는 피드포워드 신경망(FFNN)으로 훈련된다.
• 문자 수준 모델은 트윗을 문자 단위로 처리하므로, 데이터셋에서 흔한 농담과 보통 어휘 외의 단어들을 더 잘 처리할 수 있다.
• 성능 평가는 보류된 테스트 해시태그에서 마이크로 정확도로 평가되며, 드롭아웃 유무 및 다양한 임베딩 유형을 비교하는 분석을 통해 아블레이션 스터디가 수행된다.
• 테스트 해시태그 임베딩과 훈련 데이터의 해시태그 평균값 간의 코사인 유사도 분석을 통해, 다양한 해시태그 간의 전이 가능성(transferability)을 평가한다.

실험 결과

연구 질문

• RQ1 TV 쇼에서 선택한 트윗의 유머성에 반영된 특정한 비보편적인 유머 감성에 기반해, 계산 모델이 이에 맞춰 유머를 순위 매길 수 있는가?
• RQ2 짧은 소셜 미디어 텍스트에서 농담 기반 유머를 포착하는 데에, 문자 수준의 신경망 모델이 토큰 수준의 모델보다 뛰어난가?
• RQ3 유머 순위 매기기 모델의 성능이 다양한 해시태그에 대해 얼마나 일반화되는가? 또한, 테스트와 훈련 해시태그 간의 유사도가 정확도에 어떤 영향을 미치는가?
• RQ4 간단한 토큰 임베딩 평균화가 유머 순위 매기기에서 경쟁력 있는 베이스라인을 제공할 수 있는가, 아니면 더 복잡한 시퀀스 모델링이 필수적인가?
• RQ5 앙상블 방법이나 외부 지식 소스(예: 신경 터닝 머신을 통한 통합)의 잠재력이 이 작업의 성능 향상에 기여할 수 있는가?

주요 결과

• 제안된 #HashtagWars 데이터셋은 기존의 유머 데이터셋(예: NYCC 데이터셋)과 비교해 수개의 주기수만큼 더 크며, 이는 유머 순위 매기기 시스템의 더 강력한 평가를 가능하게 한다.
• 가장 뛰어난 성능을 보인 감독 학습 모델은 쌍별 유머 순위 매기기 작업에서 63.7%의 정확도를 기록했으며, 이는 이 작업이 이진 유머 검출보다 훨씬 더 도전적인 과제임을 시사한다.
• 문자 수준 모델이 모든 토큰 수준 모델보다 뛰어난 성능을 보였으며, 이는 이 작업에서 형태학적 및 발음 패턴(예: 농담)을 포착하는 것이 필수적임을 시사한다.
• RNN 기반 문자 수준 모델은 동일한 최종 분류기로 훈련되었음에도 불구하고, 단순한 토큰 임베딩 평균화보다 더 효과적인 표현을 학습함을 입증했다.
• 해시태그 유사도(평균 임베딩 기반)와 테스트 정확도 간의 상관관계는 낮아 0.223으로 나타나, 해시태그 임베딩 유사도가 모델 일반화 능력의 강력한 예측 변수는 아님을 시사한다.
• 모든 시스템의 경우, 표준편차가 0.01 이하로 매우 안정된 결과를 보였으며, 랜덤 베이스라인을 제외한 모든 시스템에서 높은 안정성을 확보함으로써 평가 프레임워크의 신뢰성을 확인했다.