[논문 리뷰] Multi-channel CNN to classify nepali covid-19 related tweets using hybrid features

Chiranjibi Sitaula, Tej Bahadur Shahi|arXiv (Cornell University)|2022. 03. 19.

Misinformation and Its Impacts참고 문헌 24인용 수 4

한 줄 요약

이 논문은 네파리어 코로나19 트윗을 긍정, 중립, 부정 감성으로 분류하기 위해 문법적(구조적) 정보인 백오프워즈(BoW)와 의미적(의미적) 정보인 fastText/도메인 특화 임베딩을 조합한 하이브리드 특징 추출 기법을 갖춘 다중 채널 컨볼루션 네트워크(MCNN)를 제안한다. MCNN 모델은 NepCOV19Tweets 데이터셋에서 71.3%의 분류 정확도를 기록하여, 채널별 학습과 앙상블 융합을 통해 다중 척도 특징을 효과적으로 포착함으로써 기존 방법들을 능가한다.

ABSTRACT

Because of the current COVID-19 pandemic with its increasing fears among people, it has triggered several health complications such as depression and anxiety. Such complications have not only affected the developed countries but also developing countries such as Nepal. These complications can be understood from peoples' tweets/comments posted online after their proper analysis and sentiment classification. Nevertheless, owing to the limited number of tokens/words in each tweet, it is always crucial to capture multiple information associated with them for their better understanding. In this study, we, first, represent each tweet by combining both syntactic and semantic information, called hybrid features. The syntactic information is generated from the bag of words method, whereas the semantic information is generated from the combination of the fastText-based (ft) and domain-specific (ds) methods. Second, we design a novel multi-channel convolutional neural network (MCNN), which ensembles the multiple CNNs, to capture multi-scale information for better classification. Last, we evaluate the efficacy of both the proposed feature extraction method and the MCNN model classifying tweets into three sentiment classes (positive, neutral and negative) on NepCOV19Tweets dataset, which is the only public COVID-19 tweets dataset in Nepali language. The evaluation results show that the proposed hybrid features outperform individual feature extraction methods with the highest classification accuracy of 69.7% and the MCNN model outperforms the existing methods with the highest classification accuracy of 71.3% during classification.

연구 동기 및 목표

• 짧은 텍스트 길이와 문맥적 특징 부족으로 인해 기존 자연어 처리(NLP) 기법이 한계를 보이는 저자원 언어인 네파리어에서 감성 분류 과제를 해결한다.
• 백오프워즈나 단일 워드 임베딩만을 사용하는 접근 방식의 한계를 극복하기 위해 구조적 정보와 의미적 정보를 융합하여 트윗 표현을 향상시킨다.
• 하이브리드 특징에서 다중 척도의 구분 능력 있는 특징을 효과적으로 추출할 수 있도록 다중 채널 컨볼루션 네트워크 아키텍처를 신규로 설계한다.
• 공개된 네파리어 코로나19 트윗 데이터셋을 활용해 제안된 방법의 유효성을 입증하며, 이는 네파리어에서 유일한 해당 데이터셋이다.
• 도메인 특화 및 사전 학습된 임베딩을 딥러닝 모델과 융합하여 향후 네파리어 언어 처리 연구를 위한 강력한 기반을 마련한다.

제안 방법

• 백오프워즈(구조적)와 fastText 기반 및 도메인 특화 워드 임베딩(의미적)을 조합하여 하이브리드 특징을 구성함으로써 트윗 표현을 풍부하게 한다.
• 세 개의 개별 특징 유형(BoW, fastText, 도메인 특화)과 하나의 연결된 하이브리드 특징을 위한 총 네 개의 병렬 컨볼루션 브랜치를 갖춘 다중 채널 컨볼루션 네트워크(MCNN)를 설계한다.
• 각 채널에서 국소적이고 다중 척도의 특징을 추출하기 위해 ReLU 활성화 함수를 적용한 1차원 컨볼루션 레이어와 최대 풀링을 적용한 후, 전역 평균 풀링을 수행한다.
• 높은 신뢰도와 낮은 신뢰도 예측을 균형 있게 유지하기 위해 평균 기반 결합 전략을 사용해 네 개 채널의 출력을 융합한다.
• 범주형 교차 엔트로피 손실과 Adam 옵timizer를 사용한 확률적 경사 하강법을 통해 MCNN 모델을 엔드 투 엔드로 훈련시킨다.
• 모델 성능을 평가하기 위해 10겹 교차 검증과 통계적 유의성 검정(p-value < 2.2e-16)을 수행하여 정밀도를 확보한다.

실험 결과

연구 질문

• RQ1 백오프워즈(구조적)와 fastText/도메인 특화 임베딩(의미적)을 융합한 하이브리드 특징 추출 기법이 개별 특징 유형 대비 저자원 네파리어 트윗의 감성 분류 성능을 향상시키는가?
• RQ2 병렬적으로 여러 특징 유형을 처리하는 다중 채널 컨볼루션 네트워크 아키텍처가 단일 채널 모델 대비 네파리어 코로나19 트윗 분류 성능을 높이는가?
• RQ3 여러 CNN 채널의 예측을 융합할 때, 합산(sum), 최대값(max), 평균(avg) 중 어떤 결정 융합 전략이 가장 안정적이고 정확한 분류 결과를 도출하는가?
• RQ4 MCNN 모델은 긍정, 중립, 부정 감성 클래스별로 정밀도, 재현율, F1 점수 측면에서 어떻게 성능을 발휘하는가?
• RQ5 제안된 방법은 다수의 교차 검증 폴드를 통해 통계적으로 유의미하고 강건한가?

주요 결과

• 제안된 하이브리드 특징 추출 기법은 69.7%의 최고 분류 정확도를 기록하여, 개별 특징 유형(BoW, fastText, 도메인 특화)보다 감성 분류 성능에서 뛰어난 성능을 보였다.
• MCNN 모델은 NepCOV19Tweets 데이터셋에서 최신 기술 수준의 분류 정확도 71.3%를 달성하여 기존 방법들을 능가했다.
• 평균 기반 결합 전략이 가장 안정적인 성능을 보였으며, 각 클래스에서 높은 신뢰도와 낮은 신뢰도 예측을 모두 유지했다.
• MCNN 모델은 부정 클래스에 대해 정밀도 73.3%, 재현율 75.1%, F1 점수 74.2%를 기록했으며, 긍정 클래스에 대해서는 정밀도 68.8%, 재현율 83.3%를 기록했다.
• 통계 분석 결과, 모델의 강건성이 확인되었으며, 정확도에 대한 95% 신뢰구간은 [71.0, 71.5]였고, 모든 지표에서 p-value < 2.2e-16이었다.
• 제거 실험 결과, 각 개별 채널이 구분 능력 있는 특징을 기여했으며, 채널 C3가 긍정 트윗에 대해 가장 높은 F1 점수(75.4%)를 기록했고, 전체 MCNN 모델이 모든 메트릭에서 단일 채널 모델을 모두 능가했다.