[논문 리뷰] A Study of the Effect of Resolving Negation and Sentiment Analysis in Recognizing Text Entailment for Arabic

Fatima T. AL-Khawaldeh|arXiv (Cornell University)|2019. 07. 05.

Sentiment Analysis and Opinion Mining인용 수 25

한 줄 요약

이 논문은 텍스트-가설 쌍에 대한 부정 처리와 감성 분석을 수행하여 아랍어 텍스트 함의 정확도를 향상시키는 방법을 제안한다. 부정을 탐지하고 극성(긍정, 부정, 중립)을 분류함으로써, 함의 탐지 성능이 향상되어 기준 모델에 비해 ArbTEDS 데이터셋에서 더 높은 정확도를 달성한다.

ABSTRACT

Recognizing the entailment relation showed that its influence to extract the semantic inferences in wide-ranging natural language processing domains (text summarization, question answering, etc.) and enhanced the results of their output. For Arabic language, few attempts concerns with Arabic entailment problem. This paper aims to increase the entailment accuracy for Arabic texts by resolving negation of the text-hypothesis pair and determining the polarity of the text-hypothesis pair whether it is Positive, Negative or Neutral. It is noticed that the absence of negation detection feature gives inaccurate results when detecting the entailment relation since the negation revers the truth. The negation words are considered stop words and removed from the text-hypothesis pair which may lead wrong entailment decision. Another case not solved previously, it is impossible that the positive text entails negative text and vice versa. In this paper, in order to classify the text-hypothesis pair polarity, a sentiment analysis tool is used. We show that analyzing the polarity of the text-hypothesis pair increases the entailment accuracy. to evaluate our approach we used a dataset for Arabic textual entailment (ArbTEDS) consisted of 618 text-hypothesis pairs and showed that the Arabic entailment accuracy is increased by resolving negation for entailment relation and analyzing the polarity of the text-hypothesis pair.

연구 동기 및 목표

• 부정과 감성 극성의 영향을 다루어 아랍어 텍스트 함의 정확도를 향상시키는 것.
• 일반적으로 정지어로 간주되는 부정어들이 제거될 경우 함의 결정에 어떻게 왜곡을 초래하는지 규명하는 것.
• 극성 분류(긍정, 부정, 중립)가 아랍어에서 함의 인식을 향상시키는지 조사하는 것.
• 부정 처리와 감성 분석의 병합 효과가 함의 성능에 어떤 영향을 미치는지 평가하는 것.
• 표면적 어휘 매칭을 초월한 의미적 특징, 예를 들어 부정과 감성 등이 아랍어 NLP 작업에서 추론 품질을 향상시키는지 입증하는 것.

제안 방법

• 규칙 기반 또는 어휘 기반 접근 방식을 사용하여 아랍어 텍스트-가설 쌍의 부정을 탐지하고 해결하는 전처리 과정을 수행한다.
• 각 텍스트-가설 쌍의 극성을 긍정, 부정, 중립으로 분류하기 위해 감성 분석 도구를 적용한다.
• 해결된 부정과 감성 극성 정보를 함의 분류 파이프라인에 통합한다.
• 평가에 사용된 데이터셋은 총 618개의 아랍어 텍스트-가설 쌍으로 구성된 ArbTEDS 데이터셋을 사용한다.
• 부정 및 감성 특징에 의해 강화된 의미적 일치를 바탕으로 함의 결정을 내린다.
• 테스트 세트에서 표준 함의 정확도 메트릭을 사용하여 성능을 평가한다.

실험 결과

연구 질문

• RQ1 아랍어 텍스트-가설 쌍에서 부정을 해결하면 함의 인식 정확도에 어떤 영향을 미치는가?
• RQ2 감성 극성 분류는 아랍어에서 함의 관계 탐지에 얼마나 기여하는가?
• RQ3 부정이 탐지되지 않고 정지어로 제거될 경우 함의 정확도에는 어떤 영향을 미치는가?
• RQ4 부정 처리와 감성 분석을 병합하면 종합적인 함의 성능 향상에 기여하는가?
• RQ5 표면적 어휘 매칭을 초월한 의미적 특징을 통합함으로써 아랍어 텍스트 함의를 향상시킬 수 있는가?

주요 결과

• 부정을 해결함으로써 아랍어 텍스트 함의 정확도가 크게 향상되며, 탐지되지 않은 부정으로 인한 잘못된 함의 결정을 방지할 수 있다.
• 감성 극성 분석 통합으로 함의 정확도가 추가로 향상되며, 이는 긍정에서 부정으로의 모순된 함의를 방지하기 때문이다.
• 부정 탐지가 이루어지지 않으면 특히 부정어가 정지어로 잘못 제거될 경우 정확한 함의 결과를 도출하기 어려운 상황이 발생한다.
• 제안된 방법은 부정 또는 감성을 다루지 않는 기준 모델에 비해 ArbTEDS 데이터셋에서 더 높은 정확도를 달성한다.
• 부정 처리와 감성 분석의 조합은 함의 성능 향상에 명확한 기여를 하며, 아랍어 NLP에서 의미적 특징의 중요성을 입증한다.
• 본 연구는 부정과 감성 극성과 같은 의미적 특징이 아랍어에서 신뢰할 수 있는 텍스트 함의를 위해 필수적임을 확인한다.