[논문 리뷰] Simultaneous Identification of Tweet Purpose and Position

Rahul Radhakrishnan Iyer, Yulong Pei외 1명|arXiv (Cornell University)|2019. 12. 24.

Text and Document Classification Technologies참고 문헌 24인용 수 4

한 줄 요약

이 논문은 레이블 상관관계를 활용하여 트윗의 목적(예: 정보 공유, 사회적 상호작용 등)과 주제에 대한 태도(지지, 반대, 중립 등)를 동시에 식별하는 다중 레이블 분류 프레임워크를 제안한다. RAkEL에 후처리 전략으로 합산 및 가중 합산 방식을 적용한 방법은 개별 분류기보다 우수한 성능을 보이며, 오바마 케어 데이터셋에서 KNN에 비해 F1 점수 29.65% 향상됨.

ABSTRACT

Tweet classification has attracted considerable attention recently. Most of the existing work on tweet classification focuses on topic classification, which classifies tweets into several predefined categories, and sentiment classification, which classifies tweets into positive, negative and neutral. Since tweets are different from conventional text in that they generally are of limited length and contain informal, irregular or new words, so it is difficult to determine user intention to publish a tweet and user attitude towards certain topic. In this paper, we aim to simultaneously classify tweet purpose, i.e., the intention for user to publish a tweet, and position, i.e., supporting, opposing or being neutral to a given topic. By transforming this problem to a multi-label classification problem, a multi-label classification method with post-processing is proposed. Experiments on real-world data sets demonstrate the effectiveness of this method and the results outperform the individual classification methods.

연구 동기 및 목표

• 개별 트윗 목적 및 태도 분류의 비효율성과 상관관계 누락 문제를 해결하기 위해.
• 트윗 목적과 사용자 태도 간의 내재된 상관관계를 활용하여 분류 정확도를 향상시키기 위해.
• 트윗 목적과 태도를 동시에 예측하는 통합 프레임워크를 개발하기 위해.
• 다중 레이블 예측을 정밀하게 다듬고 분류 성능을 향상시키는 후처리 전략을 도입하기 위해.
• 정치 주제(예: 오바마 케어, 사형제도)와 관련된 실제 티터 데이터셋에서 방법의 유효성을 검증하기 위해.

제안 방법

• 레이블 상관관계를 포착하기 위해 트윗 목적 및 태도 분류 작업을 다중 레이블 분류 문제로 변환한다.
• n-그램, 품사 태그, 통계적 특징을 사용하여 RAkEL 알고리즘을 다중 레이블 분류에 적용한다.
• KNN 기반의 이웃 예측에 대해 합산 및 가중 합산 전략을 적용하는 두 가지 후처리 전략을 도입하여 레이블 출력을 정밀하게 다룬다.
• 각 테스트 트윗의 K개의 가장 유사한 학습 인스턴스를 KNN을 통해 식별하여 후처리 결정에 활용한다.
• 1-그램, 2-그램, 품사 태그, 통계적 특징(예: 단어 수, 구두점 빈도 등)을 통합하여 표현력을 향상시킨다.
• K(이웃 수)와 같은 초모수를 최적화하고, 다양한 값에서의 민감도를 평가한다.

실험 결과

연구 질문

• RQ1 개별 분류보다 트윗 목적과 태도를 동시에 예측하는 것이 분류 성능 향상에 기여하는가?
• RQ2 후처리 전략이 트윗 분류의 다중 레이블 예측을 다듬는 데 얼마나 효과적인가?
• RQ3 n-그램, 품사 태그, 통계적 특징 등의 다양한 특징 조합이 분류 정확도에 어떤 영향을 미치는가?
• RQ4 후처리 성능이 이웃 수 K의 선택에 얼마나 민감한가?
• RQ5 다중 레이블 프레임워크에서 목적과 태도 간의 레이블 상관관계를 효과적으로 포착하고 활용할 수 있는가?

주요 결과

• 가중 합산 후처리를 적용한 RAkEL 다중 레이블 분류기는 오바마 케어 데이터셋에서 KNN에 비해 F1 점수 29.65% 향상됨.
• RAkEL에 후처리를 적용한 결과, 오바마 케어 및 사형제도 데이터셋 양쪽에서 KNN 및 SVM 분류기보다 뛰어난 성능을 보임.
• (1+2)-그램, 품사 태그, 통계적 특징의 조합이 가장 우수한 성능을 보였으며, 오바마 케어 데이터셋에서 1-그램 특징만 사용한 경우 대비 F1 점수 10.04% 향상됨.
• 가중 합산 후처리 전략은 양 데이터셋에서 단순 합산 전략보다 일관되게 뛰어난 성능을 보임.
• 후처리 성능은 K 파라미터에 대해 낮은 민감도를 보였으며, K 값이 2에서 30 사이일 때 성능 차이가 0.01 이내로 미미함.
• 결과는 트윗 목적과 태도 간의 상관관계를 모델링함으로써 분류 정확도 향상이 가능함을 검증함.