[논문 리뷰] Humor in Collective Discourse: Unsupervised Funniness Detection in the New Yorker Cartoon Caption Contest

Dragomir Radev, Amanda Stent외 9명|arXiv (Cornell University)|2015. 06. 26.

Topic Modeling참고 문헌 12인용 수 29

한 줄 요약

이 논문은 뉴 Yorker 만화의 제목에 대해 감정, 인간 중심성, 어휘 중심성 등의 언어적 및 구조적 특징을 사용하여 비지도 학습 방법을 제안한다. 분석 결과, 부정적 감정, 사람에 대한 언급, 집단적 공감대를 반영하는 제목이 유머 감지에 가장 예측력이 높았으며, 이는 50개의 만화에 대해 298,000개 이상의 제목을 대상으로 한 Amazon Mechanical Turk 평가를 통해 검증되었다.

ABSTRACT

The New Yorker publishes a weekly captionless cartoon. More than 5,000 readers submit captions for it. The editors select three of them and ask the readers to pick the funniest one. We describe an experiment that compares a dozen automatic methods for selecting the funniest caption. We show that negative sentiment, human-centeredness, and lexical centrality most strongly match the funniest captions, followed by positive sentiment. These results are useful for understanding humor and also in the design of more engaging conversational agents in text and multimodal (vision+text) systems. As part of this work, a large set of cartoons and captions is being made available to the community.

연구 동기 및 목표

• 유머 감도를 이진 분류를 넘어서 순위 매기기 위한 비지도 학습 방법 개발.
• 집단적으로 생성된 사용자 기반 제목에서 인식된 유머와 관련된 언어적 및 구조적 특징 규명.
• Amazon Mechanical Turk를 통한 인간 평가를 활용해 이러한 특징을 평가하여 어떤 특징이 가장 잘 유머를 예측하는지 확인.
• 공개 연구 및 공동 과제를 지원하기 위해 뉴 Yorker 만화 제목과 만화 콘텐츠를 포함한 대규모 애너테이션 코퍼스 공개.
• 다중 모odal, 텍스트 기반 논의 환경에서 집단 지혜와 의미 중심성의 유머 감지에서의 역할 이해.

제안 방법

• TF-IDF와 워드 임베딩를 사용해 50개의 뉴 Yorker 만화 경연 대회에 걸친 298,224개의 제목에서 어휘 네트워크 구축.
• LexRank를 적용하여 각 경연에서 가장 중심적인(의미적으로 대표적인) 제목을 집단적 공감대의 척도로 식별.
• 그래프 클러스터링을 사용해 주제 기반의 제목 그룹을 탐지하고, 클러스터 크기를 기반으로 제목의 중심성 평가.
• 어휘 기반 접근을 사용해 감정 점수를 추출하고, 긍정적 감정과 부정적 감정을 구분.
• 사람, 사회적 관계, 개인 대명사에 대한 언급 수를 세어 인간 중심성 측정.
• 문장 구조의 복잡성, 구체성(만화의 물체와의 일치도), 포맷 이상 유무를 기반으로 제목 품질 평가.

실험 결과

연구 질문

• RQ1 집단적 논의 환경에서 만화 제목의 유머 감도를 가장 잘 예측하는 언어적 및 구조적 특징은 무엇인가?
• RQ2 감정, 인간 중심성, 어휘 중심성 등의 특징이 기존의 원형성, 문법성 등의 지표와 비교해 얼마나 뛰어나게 유머를 예측하는가?
• RQ3 어휘 중심성 또는 클러스터 크기로 측정된 집단적 공감대는 개인적인 이질적 제목보다 얼마나 더 뛰어나게 유머 감도를 예측하는가?
• RQ4 비지도 학습 방법은 공식 편집자 선정 결과와 반유머 문장의 순위 매기기와 비교해 어떻게 성능을 내는가?
• RQ5 부정적 감정과 사람에 대한 언급과 같은 특징이 다른 언어적 신호에 비해 일관되게 더 뛰어난 유머 감지 성능을 보일 수 있는가?

주요 결과

• 부정적 감정이 가장 강력한 유머 예측 특징이었으며, 가장 뚜렷한 일치 조건(s4)에서 점수 1.69를 기록하여 긍정적 감정을 능가했다.
• 인간 중심성(사람, 관계, 대명사에 대한 언급)은 두 번째로 강력한 예측 특징이었으며, s4에서 점수 1.45를 기록하여 이전의 사회적 유머 연구 결과와 일치했다.
• 어휘 중심성(LeXRank 및 클러스터 크기로 측정)은 세 번째로 효과적인 특징이었으며, 점수 1.39(OR2)와 -4.40(OR3R)를 기록하여 집단적 공감대가 유머 감도와 관련이 있음을 시사했다.
• 긍정적 감정과 적절한 포맷은 각각 네 번째, 다섯 번째로 강력한 특징이었으며, s3에서 점수 0.83과 0.61를 기록했다.
• 공식 우승자(NY1)는 s4에서 점수 3.57을 기록하여 인간 간의 높은 일치도를 보였지만, 전체 예측 능력에서는 부정적 감정과 인간 중심성에 밀렸다.
• 50개의 만화, 298,224개의 제목, 수작업으로 이루어진 물체 애너테이션을 포함한 코퍼스는 향후 유머 감지 분야의 연구 및 공동 과제를 지원하기 위해 공개되었다.