[논문 리뷰] Multi-label Classification of User Reactions in Online News

Zacarias Curi, Alceu de Souza Britto외 1명|arXiv (Cornell University)|2018. 09. 08.

Text and Document Classification Technologies참고 문헌 21인용 수 5

한 줄 요약

이 논문은 문제 변환 방법을 결합한 다중 레이블 분류 프레임워크를 제안하며, 브라질 포르투갈어 뉴스 기사의 사용자 반응을 분류한다. 다양한 분류기, 특히 LSTM의 새로운 응용을 포함한다. 최고의 성능은 Classifier Chains와 Random Forest 조합에서 기록되었으며, 새로 도입된 BFRC-PT 코퍼스에서 Binary Relevance와 Random Forest 조합이 가장 높은 마이크로-F1을 기록하여, 뉴스 반응에 대한 다중 레이블 의견 탐지에서 이진 분류기 전략의 효과성을 입증한다.

ABSTRACT

The increase in the number of Internet users and the strong interaction brought by Web 2.0 made the Opinion Mining an important task in the area of natural language processing. Although several methods are capable of performing this task, few use multi-label classification, where there is a group of true labels for each example. This type of classification is useful for situations where the opinions are analyzed from the perspective of the reader, this happens because each person can have different interpretations and opinions on the same subject. This paper discuss the efficiency of problem transformation methods combined with different classification algorithms for the task of multi-label classification of reactions in news texts. To do that, extensive tests were carried out on two news corpora written in Brazilian Portuguese annotated with reactions. A new corpus called BFRC-PT is presented. In the tests performed, the highest number of correct predictions was obtained with the Classifier Chains method combined with the Random Forest algorithm. When considering the class distribution, the best results were obtained with the Binary Relevance method combined with the LSTM and Random Forest algorithms.

연구 동기 및 목표

• 온라인 뉴스에서 사용자 반응의 다중 레이블 분류에 문제 변환 방법의 효과성을 평가하는 것.
• 다중 레이블 의견 탐지 맥락에서 다양한 분류 알고리즘(특히 LSTM 포함)의 성능을 평가하는 것.
• 사용자 반응 분류를 위한 새로운, 주석 처리된 코퍼스(BFRC-PT)를 제안하는 것.
• 기존의 방법들인 Binary Relevance와 Classifier Chains와 앙상블 기반 접근법인 RA$k$EL과 HOMER를 비교하는 것.
• 딥 러닝 모델인 LSTM이 이 다중 레이블 반응 분류 작업에서 기존 알고리즘을 능가하는지 여부를 규명하는 것.

제안 방법

• 저자는 여섯 가지 문제 변환 방법을 적용했다: Binary Relevance(BR), Classifier Chains(CC), 캘리브레이티드 출력 행렬(CLR), HOMER, 레이블 파wr스셋(LP), RA$k$EL.
• 각 방법은 나이브 베이즈(NB), 랜덤 포레스트(RF), 서포트 벡터 머신(SVM) 세 가지 기본 분류기와 함께 사용되었으며, 하나의 딥 러닝 모델인 장기 숏텀 메모리(LSTM)도 함께 사용되었다.
• LSTM은 이진 재귀 변환을 통해 사용되었으며, 각 반응 레이블에 대해 별도의 이진 분류기를 훈련시켰다.
• BFRC-PT 코퍼스는 브라질 포르투갈어 온라인 뉴스에서 유저 반응과 감정을 다중 레이블로 주석 처리하여 구축되었다.
• 평가에는 표준 다중 레이블 메트릭스인 마이크로-F1, 마크로-F1, 하미ング 손실을 사용하였으며, 통계적 유의성은 95% 신뢰 구간 t-검정을 적용하였다.
• 연구는 두 개의 코퍼스(G1(기존), BFRC-PT(신규 도입))를 대상으로 하여, 방법과 알고리즘의 강건성을 평가하였다.

실험 결과

연구 질문

• RQ1 딥 러닝(특히 LSTM)을 포함한 문제 변환 방법의 조합이 기존 분류기 대비 뉴스 텍스트의 다중 레이블 반응 분류 성능을 향상시키는가?
• RQ2 신규 도입된 BFRC-PT 코퍼스에서 문제 변환 방법과 기본 분류기의 조합 중 어느 것이 가장 높은 성능을 기록하는가?
• RQ3 다양한 다중 레이블 전략(BR, CC, RA$k$EL 등)이 두 개의 서로 다른 뉴스 코퍼스에서 마이크로-F1과 하미ング 손실 측면에서 어떻게 비교되는가?
• RQ4 이 다중 레이블 반응 분류 작업에서 LSTM과 기존 분류기인 랜덤 포레스트 간에 성능 차이가 통계적으로 유의미한가?
• RQ5 코퍼스 특성에 따라 최적의 방법과 알고리즘이 어떻게 영향을 받는가?

주요 결과

• Classifier Chains(CC)와 Random Forest(RF)의 조합이 G1 및 BFRC-PT 코퍼스 양쪽에서 가장 낮은 하미ング 손실 스코어를 기록하여, 레이블 예측 정확도가 뛰어남을 시사한다.
• Binary Relevance(BR)와 Random Forest(RF)의 조합이 BFRC-PT 코퍼스에서 가장 높은 마이크로-F1 스코어를 기록하여, LSTM을 사용한 BR 조합을 포함한 모든 다른 방법보다 뛰어난 성능을 보였다.
• LSTM을 사용한 BR 방법은 평가된 20개 구성 중 마이크로-F1 스코어에서 여섯 번째로 높은 성능을 기록하여, 경쟁력은 있으나 뛰어난 성능은 아니었다.
• 95% 신뢰 수준에서 LSTM과 RF 간에 통계적으로 유의미한 성능 차이가 없었으며, 이는 이 설정에서 LSTM이 기존 모델을 뛰어나지 못함을 시사한다.
• RA$k$EL 방법은 클래스 앙상블를 생성하여 BFRC-PT에서 마이크로-F1 스코어로 세 번째와 네 번째로 높은 성능을 기록하여, 최상위 성능은 아니지만 강력한 성능을 보였다.
• HOMER와 레이블 파워셋(LP)은 두 코퍼스에서 모두 가장 낮은 성능을 기록하여, 이 특정 다중 레이블 반응 분류 작업에 한계가 있음을 시사한다.