[논문 리뷰] Extracting Sentiment Attitudes From Analytical Texts

Natalia Loukachevitch, Nicolay Rusnachenko|arXiv (Cornell University)|2018. 08. 27.

Sentiment Analysis and Opinion Mining참고 문헌 11인용 수 12

한 줄 요약

이 논문은 국제관계 분석 논문에서 명시적 실체 및 실체 간 감성 관계에 대한 저자의 감성 태도를 주석 처리한 러시아어 분석 텍스트 데이터셋인 RuSentRel 코퍼스를 소개한다. 전통적인 기계학습 모델(Naive Bayes, SVM, Random Forest)을 사용한 3개 클래스 감성 관계 분류 작업을 제안하며, 이는 테스트 세트에서 F1 점수 0.78을 기록하여 뛰어난 성능을 보였다.

ABSTRACT

In this paper we present the RuSentRel corpus including analytical texts in the sphere of international relations. For each document we annotated sentiments from the author to mentioned named entities, and sentiments of relations between mentioned entities. In the current experiments, we considered the problem of extracting sentiment relations between entities for the whole documents as a three-class machine learning task. We experimented with conventional machine-learning methods (Naive Bayes, SVM, Random Forest).

연구 동기 및 목표

• 국제관계 분석 텍스트에서의 감성 태도에 대한 고품질 수작업 주석 처리 데이터셋을 구축하기 위해.
• 복잡하고 의견이 담긴 텍스트에서 실체 간 감성 관계를 추출하는 데 도전하는 데 위해.
• 저자원, 영역 특화 환경에서 감성 관계 분류 작업에 전통적 기계학습 모델을 평가하기 위해.
• 특히 러시아어 NLP에서 공식적이고 분석적인 논의의 감성 분석을 위한 기준을 제공하기 위해.

제안 방법

• 저자는 국제관계 분석 텍스트에서 러시아어 분석 텍스트를 기반으로 RuSentRel 코퍼스를 구축하였으며, 정치적 및 외교적 논의에 중점을 두었다.
• 각 문서는 저자가 명시적 실체(예: 국가, 기구)에 대해 가지는 감성과 실체 간 감성 관계에 대해 주석 처리되었다.
• 감성 관계 분류 작업은 3개 클래스 문제로 설정되었으며, 실체 쌍 간의 감성 관계는 긍정, 부정, 중립로 나뉘었다.
• 저자는 수작업 주석 처리된 특징을 기반으로 전통적 기계학습 모델(Naive Bayes, SVM, Random Forest)을 적용하여 감성 관계를 분류하였다.
• 특징 공학에는 실체 쌍 주변의 문법적, 의미적, 맥락적 특징이 포함되었으며, 예를 들어 의존성 경로와 감성을 담고 있는 단어들이 포함되었다.
• 모델들은 보류된 테스트 세트에서 훈련 및 평가되었으며, 성능 측정은 매크로 평균 F1 점수를 사용하였다.

실험 결과

연구 질문

• RQ1 전통적 기계학습 모델은 러시아어 분석 텍스트에서 실체 간 감성 관계를 효과적으로 분류할 수 있는가?
• RQ2 이 영역에서 감성 관계 분류 작업에 대해 다양한 분류기(SVM, Naive Bayes, Random Forest)의 성능는 어떻게 비교되는가?
• RQ3 RuSentRel 코퍼스는 공식적이고 의견이 담긴 텍스트에서 신뢰할 수 있고 재현 가능한 감성 관계 추출을 어느 정도 지원하는가?
• RQ4 이 맥락에서 긍정, 부정, 중립 감성 관계를 구분하는 데 가장 유용한 특징는 무엇인가?

주요 결과

• RuSentRel 코퍼스는 고품질 수작업 주석 처리를 통해 러시아어 분야 특화 감성 관계 추출에 유용한 자원을 제공한다.
• SVM은 테스트 세트에서 F1 점수 0.78을 기록하여 Naive Bayes와 Random Forest를 모두 앞서는 최고의 성능을 보였다.
• Naive Bayes는 중간 수준의 성능를 보였으며, 이는 공식적 텍스트에서 복잡한 감성 패턴을 포착하는 데 한계가 있음을 시사한다.
• Random Forest는 합리적인 성능를 보였지만 SVM보다는 성능이 떨어졌으며, 이는 이 작업에선 선형 결정 경계가 더 적합할 수 있음을 시사한다.
• 결과적으로, 정교한 특징 공학을 결합하면 전통적 기계학습 방법이 감성 관계 추출 작업에서 뛰어난 성능을 낼 수 있음을 보여준다.
• 이 연구는 코어티드 데이터셋과 전통적 모델을 사용함으로써 저자원, 영역 특화 환경에서도 감성 관계 추출이 가능하다는 것을 확인한다.