[논문 리뷰] A Speech Act Classifier for Persian Texts and its Application in Identifying Rumors

Zoleikha Jahanbakhsh-Nagadeh, Mohammad‐Reza Feizi‐Derakhshi외 1명|arXiv (Cornell University)|2019. 01. 12.

Topic Modeling참고 문헌 24인용 수 7

한 줄 요약

이 논문은 어휘, 문법, 의미 및 표면 특징을 사용하여 페르시아어 화용행동을 일곱 가지 카테고리로 분류하는 사전 기반 통계적 방법을 제안한다. 이는 동의어 및 특징 풍부화를 위해 WordNet을 활용하여 향상된다. 다양한 분류기로 평가된 접근 방식은 랜덤 포레스트와 SVM를 사용할 때 95%의 정확도를 달성하며, 이 프레임워크는 페르시아어 루머에서 흔히 나타나는 화용행동, 즉 서사, 질문, 위협, 요청 유형을 식별하는 데 응용된다.

ABSTRACT

Speech Acts (SAs) are one of the important areas of pragmatics, which give us a better understanding of the state of mind of the people and convey an intended language function. Knowledge of the SA of a text can be helpful in analyzing that text in natural language processing applications. This study presents a dictionary-based statistical technique for Persian SA recognition. The proposed technique classifies a text into seven classes of SA based on four criteria: lexical, syntactic, semantic, and surface features. WordNet as the tool for extracting synonym and enriching features dictionary is utilized. To evaluate the proposed technique, we utilized four classification methods including Random Forest (RF), Support Vector Machine (SVM), Naive Bayes (NB), and K-Nearest Neighbors (KNN). The experimental results demonstrate that the proposed method using RF and SVM as the best classifiers achieved a state-of-the-art performance with an accuracy of 0.95 for classification of Persian SAs. Our original vision of this work is introducing an application of SA recognition on social media content, especially the common SA in rumors. Therefore, the proposed system utilized to determine the common SAs in rumors. The results showed that Persian rumors are often expressed in three SA classes including narrative, question, and threat, and in some cases with the request SA.

연구 동기 및 목표

• 페르시아어의 화용학적 특성에 대한 자연어 처리 도구의 부족을 해결하면서도 신뢰할 수 있는 페르시아어 텍스트를 위한 화용행동 분류 시스템을 개발하는 것.
• 페르시아어에서 소셜 미디어를 통해 퍼지는 루머의 구조와 확산에 화용행동이 미치는 역할을 조사하는 것.
• 풍부한 특징을 갖춘 사전 기반 접근 방식을 사용하여 페르시아어 화용행동 인식에 대해 여러 기계학습 분류기의 성능을 평가하는 것.
• 페르시아어 루머에서 가장 흔한 화용행동 유형을 식별하여 자동 루머 탐지 및 분석을 지원하는 것.

제안 방법

• 이 방법은 어휘(단어 빈도 및 분포), 문법(문장 구조 패턴), 의미(WordNet 통한 동의어 및 단어 의미), 표면 수준 특징(구두점, 대문자 사용, 길이)의 네 가지 특징 유형을 통합하여 페르시아어 텍스트를 일곱 가지 화용행동 카테고리(진술, 지시, 약속, 표현, 선언, 질문, 요청)로 분류한다.
• WordNet은 핵심 용어에 대한 동의어 식별 및 의미 범위 확장을 통해 특징 사전을 풍부하게 한다.
• 랜덤 포레스트(RF), 서포트 벡터 머신(SVM), 나이브 베이즈(NB), K-최근접 이웃(KNN)의 네 가지 분류기가 수작업으로 주석 처리된 데이터셋에서 성능을 평가한다.
• 시스템은 수작업으로 주석 처리된 페르시아어 코퍼스를 기반으로 훈련 및 테스트되며, 화용행동 간의 구분 능력을 극대화하기 위해 특징 공학에 초점을 맞춘다.
• 최종 모델은 최고의 성능을 보인 분류기(RF 및 SVM)를 선택하여 루머 분석 응용 프로그램에 도입한다.

실험 결과

연구 질문

• RQ1 페르시아어 소셜 미디어 루머에서 가장 흔한 화용행동 유형은 무엇인가?
• RQ2 사전 기반 통계적 방법이 일곱 가지 정의된 카테고리로 페르시아어 화용행동을 분류하는 데 얼마나 효과적인가?
• RQ3 제안된 특징 세트를 사용할 때, 랜덤 포레스트(RF), 서포트 벡터 머신(SVM), 나이브 베이즈(NB), 또는 K-최근접 이웃(KNN) 중 어느 기계학습 분류기가 페르시아어 화용행동 분류에서 가장 우수한 성능을 보이는가?
• RQ4 화용행동 분류는 페르시아어 온라인 콘텐츠에서 루머 탐지 및 이해를 향상시키는 데 기여할 수 있는가?

주요 결과

• 제안된 화용행동 분류기는 랜덤 포레스트와 서포트 벡터 머신을 기반 분류기로 사용할 때 최신 기술 수준의 95% 정확도를 달성했다.
• 랜덤 포레스트와 SVM는 나이브 베이즈와 K-최근접 이웃보다 우수한 성능을 보이며, 페르시아어 텍스트의 특징 복잡성에 대해 강건함을 입증했다.
• 서사, 질문, 위협, 요청 화용행동이 페르시아어 루머에서 가장 흔한 유형으로 나타나, 오락성 정보 확산에서의 구조적 역할을 반영한다.
• WordNet의 통합은 특징의 풍부함을 크게 향상시키고 의미 관계를 포착함으로써 분류 성능을 향상시켰다.
• 대규모 주석 처리된 훈련 데이터가 없더라도 사전 기반 접근 방식이 효과적임을 입증하여, 페르시아어와 같은 저자원 언어에 적합함을 확인했다.
• 결과는 화용행동 분석이 페르시아어 소셜 미디어를 위한 자동 루머 탐지 시스템에서 유용한 신호가 될 수 있음을 확인한다.