[논문 리뷰] Duluth at SemEval-2017 Task 6: Language Models in Humor Detection

Xinru Yan, Ted Pedersen|arXiv (Cornell University)|2017. 04. 27.

Humor Studies and Applications참고 문헌 5인용 수 3

한 줄 요약

이 논문은 N-gram 모델을 사용하여 트윗 및 뉴스 코퍼스에서 학습한 언어 모델 기반 접근법을 제안하여 소셜 미디어에서 유머 감지를 수행한다. 이 시스템은 강력한 성능을 보였으며, 특히 평가 후 런에서 뉴스 데이터로 학습된 trigram 모델이 트윗 데이터로 학습된 모델보다 뛰어난 성능을 보이며, 코퍼스 선택이 유머 감지 정확도에 상당한 영향을 미친다는 것을 입증했다.

ABSTRACT

This paper describes the Duluth system that participated in SemEval-2017 Task 6 #HashtagWars: Learning a Sense of Humor. The system participated in Subtasks A and B using N-gram language models, ranking highly in the task evaluation. This paper discusses the results of our system in the development and evaluation stages and from two post-evaluation runs.

연구 동기 및 목표

• 통계적 언어 모델을 사용하여 소셜 미디어 데이터에서 유머 감성을 학습하는 시스템을 개발하는 것.
• 다양한 코퍼스에서 학습된 언어 모델이 짧은 텍스트 내 유머러스한 콘텐츠를 효과적으로 감지할 수 있는지 조사하는 것.
• 트윗 데이터와 일반 뉴스 데이터로 학습된 N-gram 언어 모델(바이그램, 트리그램)의 성능을 비교하여 유머 감지에 활용하는 것.
• 전처리 전략(예: 필터링, 토크나이제이션, 케이스 센시티브 여부)이 모델 성능에 미치는 영향을 평가하는 것.
• 특히 #BreakUpIn5Words 해시태그가 다른 해시태그보다 훨씬 더 좋은 성능을 보인 이유를 이해하는 것.

제안 방법

• KenLM를 사용하여 두 코퍼스(HashtagWars에서 수집한 유머러스한 트윗과 News Commentary 및 News Crawl 코퍼스에서 확보한 일반 뉴스 데이터)에서 바이그램 및 트리그램 언어 모델을 학습했다.
• 외부 어휘 처리를 향상시키기 위해 수정된 Kneser-Ney 스무딩을 적용하고, 백오프(back-off) 기능을 사용하며, 가지치기(pruning)를 생략했다.
• 트윗을 URL, @멘션, #해시태그 필터링 및 공백과 구두점 기반 토크나이제이션을 통해 전처리했다.
• 각 트윗의 로그 확률 점수를 트윗 기반 언어 모델과 뉴스 기반 언어 모델을 모두 사용하여 계산하여 '일반 언어'에서의 이탈 정도를 평가했다.
• 뉴스 언어 모델에서 낮은 확률 점수를 유머 감지의 대체 지표로 사용했으며, 이는 유머러스한 콘텐츠가 표준 언어 패턴에서 벗어나기 때문이라는 가설에 기반한다.
• 언어 모델의 로그 확률 점수를 기반으로 Subtask B의 트윗을 순위 매기고, Subtask A의 트윗 쌍을 비교했다.

실험 결과

연구 질문

• RQ1 N-gram 언어 모델은 짧은 소셜 미디어 텍스트 내 유머 감지에 얼마나 효과적인가?
• RQ2 일반 뉴스 코퍼스에서 학습된 언어 모델이 유머러스한 트윗 코퍼스에서 학습된 모델보다 유머 감지에 더 우수한 성능을 보이는가?
• RQ3 URL, @멘션, #해시태그 필터링, 토크나이제이션, 케이스 센시티브 여부 등 다양한 전처리 전략이 모델 성능에 어떤 영향을 미치는가?
• RQ4 왜 #BreakUpIn5Words 해시태그에서는 다른 해시태그보다 훨씬 더 뛰어난 성능을 기록했는가?
• RQ5 바이그램 모델과 트리그램 모델 간의 선택이 유머 감지 성능에 상당한 영향을 미치는가?

주요 결과

• 개발 단계에서는 트윗 데이터로 학습된 트리그램 모델이 Subtask B에서 F1 점수 0.887을 기록하며 가장 높은 성능을 보였으며, 바이그램 모델은 Subtask A에서 정확도 0.548로 略로 높은 성능을 보였다.
• 공식 평가에서는 트윗 데이터로 학습된 모델보다 뉴스 데이터로 학습된 모델이 더 뛰어난 성능을 보였으며, 특히 평가 후 런에서 뉴스 기반 트리그램 모델이 최고의 결과를 기록했다.
• 개발 결과와는 달리 평가 및 평가 후 런 단계에서 바이그램 언어 모델이 트리그램 모델보다 성능이 뛰어나, 더 단순한 모델이 새로운 데이터에 더 잘 일반화될 수 있음을 시사한다.
• 특정 해시태그 #BreakUpIn5Words에서는 Subtask A 정확도 0.913과 Subtask B 거리 점수 0.636을 기록하여, 이 해시태그에 대해 다른 모든 시스템보다 뛰어난 성능을 보였다.
• 트윗 기반 모델과 뉴스 기반 모델 간의 성능 격차는 학습 코퍼스의 크기와 다양성이 모델의 효과성에 상당한 영향을 미친다는 것을 시사하며, 도메인 유사도는 낮지만 더 큰 뉴스 코퍼스가 더 좋은 결과를 낳는다는 점을 보여준다.
• 이 연구는 모델 유형보다 코퍼스 선택과 모델 복잡도(바이그램 대 트리그램)가 더 큰 영향을 미치며, 향후 연구에서는 유니그램 및 문자 수준 모델의 탐색이 필요하다고 시사한다.