[논문 리뷰] Tweet Acts: A Speech Act Classifier for Twitter

Soroush Vosoughi, Deb Roy|arXiv (Cornell University)|2016. 05. 17.

Digital Communication and Language참고 문헌 8인용 수 13

한 줄 요약

이 논문은 의미적 및 문법적 특징을 활용하여 트위터에서 사용되는 6종류의 언어행동 유형—진술, 표현, 질문, 요청, 추천, 기타—으로 구성된 맞춤형 분류 체계를 사용해 지도 학습 기반의 언어행동 분류기를 제안한다. 수작업으로 주석 처리된 7,563개의 트윗 데이터셋으로 훈련된 로지스틱 회귀 모델은 최신 기준 평균 F1 스코어 0.70을 달성하였으며, 주제별 분류기가 트위터 전반 및 유형별 분류기보다 뛰어난 성능을 보였다.

ABSTRACT

Speech acts are a way to conceptualize speech as action. This holds true for communication on any platform, including social media platforms such as Twitter. In this paper, we explored speech act recognition on Twitter by treating it as a multi-class classification problem. We created a taxonomy of six speech acts for Twitter and proposed a set of semantic and syntactic features. We trained and tested a logistic regression classifier using a data set of manually labelled tweets. Our method achieved a state-of-the-art performance with an average F1 score of more than $0.70$. We also explored classifiers with three different granularities (Twitter-wide, type-specific and topic-specific) in order to find the right balance between generalization and overfitting for our task.

연구 동기 및 목표

• 트위터에서의 의사소통 목적을 이해하기 위해 단순한 내용의 의미를 넘어서 의사소통의 실질적 목적을 포괄하는 지도 학습 기반의 언어행동 분류기를 개발한다.
• 트위터의 비공식적이고 노이즈가 많으며 맥락 의존적인 언어 사용에 적합한 여섯 가지 언어행동 유형 분류 체계를 구축한다.
• 짧고 공개적인 소셜미디어 텍스트에서 언어행동을 예측하는 데 기여하는 의미적 및 문법적 특징을 식별하고 평가한다.
• 일반화와 과적합의 균형을 맞추기 위해 트위터 전반, 유형별, 주제별 세 가지 다양성 수준에서 분류기 성능을 비교한다.
• 사람들의 의도를 정확히 식별함으로써 루머 탐지 및 감성 분석과 같은 후속 응용 분야의 성능을 향상시킨다.

제안 방법

• 세일의 언어행동 이론과 트위터 특화 사용 패턴을 바탕으로, 진술, 표현, 질문, 요청, 추천, 기타의 여섯 가지 언어행동 유형 분류 체계를 구성하였다.
• 인터-애너테이터 간 일致도가 코HEN의 카파 = 0.78였던, 여섯 가지 주제(엔티티 중심, 이벤트 중심, 장기적 주제)에 걸쳐 총 7,563개의 수작업 주석 트윗을 수집하였다.
• 의미적 신호(예: 감성, 가능성, 감정어, 否정)와 문법적 신호(예: 품사 태그, 감탄사 존재, 형용사 존재)를 조합한 총 3,313개의 이진 특징을 추출하였다.
• 20중 교차검증을 사용하여 다섯 가지 분류기(Naive Bayes, 결정트리, SVM, 로지스틱 회귀, 기준 최대값 분류기)를 훈련하고 평가하였으며, 세 가지 다양성 수준에서 수행하였다.
• 전체 특징 세트의 성능을 의미적 특징 및 문법적 특징 세트의 별도 평가와 비교하여 각 모odal의 기여도를 분석하였다.
• 동일한 평가 프rotocol을 사용하여 Zhang 등이 제안한 이전 최신 기준 분류기와의 벤치마크를 수행하였다.

실험 결과

연구 질문

• RQ1 트위터 커뮤니케이션에서 가장 대표적이고 구분 가능한 언어행동 유형은 무엇이며, 이를 계산적 분석에 적합하게 체계화할 수 있는가?
• RQ2 짧고 비공식적인 트위터 텍스트에서 특정 언어행동을 예측하는 데 가장 유용한 의미적 및 문법적 특징은 무엇인가?
• RQ3 언어행동을 모델링할 때, 트위터 전반, 유형별, 주제별 세 가지 다양성 수준에서 분류기 성능는 어떻게 달라지는가?
• RQ4 의미적 및 문법적 특징이 언어행동 분류 성능에 독립적으로 기여하는 정도는 어느 정도인가?
• RQ5 감정 분석 및 루머 탐지와 같은 응용 분야에서 사용자 의도를 정확히 식별하는 데 있어, 지도 학습 기반 언어행동 분류기가 기존 방법을 뛰어넘을 수 있는가?

주요 결과

• 로지스틱 회귀 분류기는 트위터 전반 설정에서 여섯 가지 언어행동 유형 전반에 걸쳐 최신 기준 평균 F1 스코어 0.70을 달성하였다.
• 주제별 분류기가 트위터 전반 및 유형별 분류기보다 뛰어나 평균 F1 스코어 0.74를 기록하여, 주제별 맥락이 분류 정확도를 향상시킨다는 것을 시사한다.
• 의미적 및 문법적 특징을 병합한 사용이 가장 뛰어난 성능을 보였으며, 전체 모델이 단일 특징 유형만 사용한 모델보다 유의미하게 뛰어났다.
• 의미적 특징은 표현과 질문을 분류하는 데 강력하게 기여하였고, 문법적 특징(특히 감탄사와 형용사)은 표현과 추천을 분류하는 데 매우 예측 가능성이 높았다.
• TweetAct 분류기는 Zhang 등이 제안한 이전 최신 기준 분류기보다 여섯 가지 언어행동 유형 전반에서 뛰어난 성능을 보였으며, 모든 클래스에서 더 높은 F1 스코어를 기록하였다.
• 모델의 성능은 질문(F1 = 0.87)과 표현(F1 = 0.80)에 가장 강력했고, 요청(F1 = 0.30)과 추천(F1 = 0.16)은 여전히 가장 도전적인 클래스로 남아 있었다.