[논문 리뷰] Back to Reality: Leveraging Pattern-driven Modeling to Enable Affordable Sentiment Dependency Learning

Heng Yang, Biqing Zeng외 2명|arXiv (Cornell University)|2021. 10. 16.

Sentiment Analysis and Opinion Mining참고 문헌 24인용 수 7

한 줄 요약

이 논문은 같은 감성 극성을 공유하는 연속적인 액서트를 감성 클러스터로 식별함으로써 액서트 기반 감성 분류에서 감성 종속성 학습을 패턴 기반 접근법으로 제안한다. 국소 감성 집약 메커니즘과 차등 가중치를 사용하여, 비용이 많이 드는 문법적 종속성 트리 없이도 효율적으로 종속성을 모델링하며, 네 개의 공개 데이터셋에서 최신 기술 수준의 성능을 달성한다. 특히 감성 클러스터에서 뛰어난 성능을 보인다.

ABSTRACT

Aspect-based Sentiment Classification (ABSC) is a challenging sub-task of traditional sentiment analysis. Due to the difficulty of handling potential correlations among sentiment polarities of multiple aspects, i.e., sentiment dependency, recent popular works tend to exploit syntactic information guiding sentiment dependency parsing. However, syntax information (e.g., syntactic dependency trees) usually occupies expensive computational resources in terms of the operation of the adjacent matrix. Instead, we define the consecutive aspects with the same sentiment as the sentiment cluster in the case that we find that most sentiment dependency occurs between adjacent aspects. Motivated by this finding, we propose the sentiment patterns (SP) to guide the model dependency learning. Thereafter, we introduce the local sentiment aggregating (LSA) mechanism to focus on learning the sentiment dependency in the sentiment cluster. The LSA is more efficient than existing dependency tree-based models due to the absence of additional dependency matrix constructing and modeling. Furthermore, we propose differential weighting for aggregation window building to measure the importance of sentiment dependency. Experiments on four public datasets show that our models achieve state-of-the-art performance with especially improvement on learning sentiment cluster.

연구 동기 및 목표

• 액서트 기반 감성 분류에서 다수의 액서트 간 감성 종속성을 모델링하는 데 도전하는 것.
• 감성 종속성 모델링에서 문법적 종속성 트리 구축과 관련된 계산 비용을 줄이는 것.
• 같은 감성을 가진 연속적인 액서트인 감성 클러스터에서 성능을 향상시키기 위해 패턴 기반 학습을 활용하는 것.
• 감성 종속성 학습을 위한 종속성 트리 기반 모델의 경량이고 효율적인 대안을 개발하는 것.

제안 방법

• 관찰에 기반하여 대부분의 감성 종속성이 인접한 액서트 간에 발생하므로, 같은 감성 극성 값을 공유하는 연속적인 액서트를 감성 클러스터로 정의한다.
• 감성 클러스터를 식별하고 집중시키기 위해 감성 패턴(SP)을 제안한다.
• 이웃한 종속성 행렬을 구축하지 않고도 각 감성 클러스터 내 감성 종속성을 모델링하기 위해 국소 감성 집약(LSA) 메커니즘을 도입한다.
• 클러스터 내 감성 종속성의 중요도를 측정하기 위해 집약 윈도우에 차등 가중치를 적용한다.
• 클러스터 내 관련 액서트에 대한 집중을 동적으로 조정하기 위해 패턴 기반 주의 메커니즘을 사용한다.
• 액서트-감성 쌍 분류를 위한 표준 교차 엔트로피 손실을 사용하여 모델을 엔드 투 엔드로 훈련시킨다.

실험 결과

연구 질문

• RQ1 같은 감성을 가진 연속적인 액서트가 안정적인 패턴을 형성할 수 있으며, 이를 통해 감성 종속성 모델링을 단순화할 수 있는가?
• RQ2 효율성과 성능 측면에서 패턴 기반 접근법은 문법 기반 종속성 모델링보다 어떻게 비교되는가?
• RQ3 감성 클러스터 내 국소 감성 집약이 액서트 수준 감성 분류 성능을 향상시킬 수 있는가?
• RQ4 집약 윈도우의 차등 가중치가 모델이 핵심 감성 종속성을 포착하는 데 능력을 향상시키는가?
• RQ5 비용이 많이 드는 문법적 종속성 트리에 의존하지 않고도 제안된 방법이 최신 기술 수준의 결과를 달성할 수 있는가?

주요 결과

• 제안된 방법은 네 개의 공개 액서트 기반 감성 분류 데이터셋에서 최신 기술 수준의 성능을 달성한다.
• 대부분의 감성 종속성이 발생하는 감성 클러스터에서 특히 뛰어난 성능 향상을 보인다.
• 국소 감성 집약 메커니즘이 종속성 행렬 구축이 필요 없어져 계산 비용을 감소시킨다.
• 집약 윈도우의 차등 가중치가 클러스터 내 중요한 감성 종속성을 집중적으로 포착하는 데 모델의 능력을 향상시킨다.
• 감성 패턴 기반 접근법은 정확도를 유지하거나 향상시키면서도 문법적 종속성에 의존하는 모델보다 효율성이 뛰어나다.
• 실험 결과는 대부분의 감성 종속성이 인접한 액서트 간에 발생함을 확인하여, 감성 클러스터 설계의 핵심 원칙을 뒷받침한다.