[논문 리뷰] `Who would have thought of that!': A Hierarchical Topic Model for Extraction of Sarcasm-prevalent Topics and Sarcasm Detection

Aditya Joshi, Prayas Jain외 2명|arXiv (Cornell University)|2016. 11. 14.

Sentiment Analysis and Opinion Mining참고 문헌 20인용 수 5

한 줄 요약

이 논문은 트윗 내 감성어 분포를 분석하여 속임수적 표현이 빈도 높은 주제를 식별하는 지도 학습 기반 계층적 토픽 모델을 제안한다. 주제, 감성, 레이블 전환 변수를 모델링함으로써, 이는 이전의 기능 기반 분류기 대비 25% 높은 F-스코어를 기록하며, '일'과 '날씨'와 같은 주제가 높은 비율로 속임수적 성향을 띠는 것으로 드러났다.

ABSTRACT

Topic Models have been reported to be beneficial for aspect-based sentiment analysis. This paper reports a simple topic model for sarcasm detection, a first, to the best of our knowledge. Designed on the basis of the intuition that sarcastic tweets are likely to have a mixture of words of both sentiments as against tweets with literal sentiment (either positive or negative), our hierarchical topic model discovers sarcasm-prevalent topics and topic-level sentiment. Using a dataset of tweets labeled using hashtags, the model estimates topic-level, and sentiment-level distributions. Our evaluation shows that topics such as `work', `gun laws', `weather' are sarcasm-prevalent topics. Our model is also able to discover the mixture of sentiment-bearing words that exist in a text of a given sentiment-related label. Finally, we apply our model to predict sarcasm in tweets. We outperform two prior work based on statistical classifiers with specific features, by around 25\%.

연구 동기 및 목표

• 감성어 분포 분석을 통해 속임수적 표현이 빈번한 주제를 식별하기 위해 토픽 모델링 기법을 활용하여 자연어에서의 속임수 탐지 과제를 해결하고자 한다.
• 트윗 내 감성어 분포를 분석함으로써 본질적으로 속임수적 성향을 띠는 주제를 규명하고자 한다.
• 속임수적 내용에서 특징적인 양의 긍정 및 부정 감성어 혼합을 모델링하여 속임수 탐지 성능을 향상시키고자 한다.
• 모델이 의미 있는 속임수적 주제를 추출하고 이를 후속 속임수 분류 작업에 활용할 수 있는 능력을 평가하고자 한다.
• 토픽 모델링이 전통적인 기능 기반 분류기보다 속임수 탐지 작업에서 더 우수한 성능을 발휘할 수 있음을 입증하고자 한다.

제안 방법

• 모델는 지도 학습 기반의 은닉 디리클레 분할(Latent Dirichlet Allocation, LDA)을 확장하여 주제(z), 감성(s), 그리고 감성어를 모델링하기 위한 스위치 변수(is)를 포함한 세 가지 은닉 변수를 도입한다.
• 감성 레이블은 주제 내 감성어 혼합 비율에 의해 결정되는 조건부 분포의 사슬을 사용한다.
• 166,955건의 레이블이 부여된 트윗(긍정, 부정, 속임수) 코퍼스를 사용하여 주제 수준 및 감성 수준의 분포를 추정한다.
• 두 가지 추론 방법을 사용한다: 로그우도 기반 예측(가장 높은 우도를 가진 레이블 선택)과 샘플링 기반 예측(MCMC 동안 마지막으로 샘플된 레이블 사용).
• 모델는 각 주제 및 트윗 수준의 감성 레이블에 대해 감성어 비율을 학습하며, 속임수적 트윗과 실제 표현 트윗 간의 감성 혼합 특징을 포착한다.
• 평가에는 속임수적 주제의 정성적 분석과 두 가지 이전 기능 기반 속임수 탐지 방법과의 정량적 비교가 포함된다.

실험 결과

연구 질문

• RQ1 감성어 분포에 의해 나타나는 주제 중에서 속임수적 성향이 높은 주제는 무엇인가?
• RQ2 속임수적 트윗은 실제 긍정 또는 부정 트윗과 비교할 때 감성 혼합 패턴을 효과적으로 포착할 수 있는가?
• RQ3 기존의 기능 기반 분류기 대비 주제 모델이 속임수 탐지 성능 향상에 어느 정도 기여하는가?
• RQ4 모델에 따르면, 실제 긍정, 실제 부정, 속임수 트윗 간 감성어 분포는 어떻게 다를까?
• RQ5 발견된 속임수적 주제를 종합적인 속임수 탐지에 효과적으로 활용할 수 있는가?

주요 결과

• 모델는 '일', '무기법률', '날씨'와 같은 속임수적 주제를 성공적으로 식별하였으며, 이들 주제는 높은 감성 혼합 비율을 보였다.
• 속임수적 트윗는 실제 긍정 또는 부정 트윗과는 상당히 다른 감성 분포를 보였으며, 많은 경우 높은 비율의 긍정 감성어를 포함하고 있었다.
• 로그우도 기반 추론 방법은 F-스코어 41.34%를 기록하여 이전의 두 기능 기반 방법(약 18–19%의 F-스코어)보다 약 25% 포인트 높은 성능을 보였다.
• 샘플링 기반 방법은 F-스코어 21.42%를 기록하여, 이는 로그우도 기반 추론이 이 작업에 더 효과적임을 시사한다.
• 모델의 정성적 결과는 감성 혼합 비율이 속임수 탐지에서 핵심 신호임을 확인하였으며, 속임수적 트윗는 균형 잡힌 또는 혼합된 감성어 비율을 보였다.
• 모델는 토픽 모델링이 속임수 탐지에 있어 테마적 및 감성적 구조를 효과적으로 추출할 수 있음을 보여주며, 기능 설계 기반 접근법의 새로운 대안을 제시한다.