[논문 리뷰] A Unified Model for Opinion Target Extraction and Target Sentiment Prediction

Xin Li, Lidong Bing외 2명|arXiv (Cornell University)|2018. 11. 13.

Sentiment Analysis and Opinion Mining참고 문헌 30인용 수 85

한 줄 요약

논문은 경계 가이던스, 감정 일관성, 그리고 의견 강화 대상 단어 탐지를 활용한 두 개의 스택드 LSTM으로 엔드-투-엔드 통합 TBSA 모델을 제시하여 목표를 공동으로 추출하고 그들의 감정을 예측합니다. 이를 통해 통합 태깅 프레임워크와 보조 과제를 통한 벤치마크 데이터셋에서 최첨단 성능을 달성합니다.

ABSTRACT

Target-based sentiment analysis involves opinion target extraction and target sentiment classification. However, most of the existing works usually studied one of these two sub-tasks alone, which hinders their practical use. This paper aims to solve the complete task of target-based sentiment analysis in an end-to-end fashion, and presents a novel unified model which applies a unified tagging scheme. Our framework involves two stacked recurrent neural networks: The upper one predicts the unified tags to produce the final output results of the primary target-based sentiment analysis; The lower one performs an auxiliary target boundary prediction aiming at guiding the upper network to improve the performance of the primary task. To explore the inter-task dependency, we propose to explicitly model the constrained transitions from target boundaries to target sentiment polarities. We also propose to maintain the sentiment consistency within an opinion target via a gate mechanism which models the relation between the features for the current word and the previous word. We conduct extensive experiments on three benchmark datasets and our framework achieves consistently superior results.

연구 동기 및 목표

• 엔드-투-엔드 Target-Based Sentiment Analysis (TBSA)가 목표를 공동으로 추출하고 감정을 예측하도록 필요성을 제시합니다.
• 통합 태깅 체계와 상호 작업 의존성을 모델링하기 위한 두 단계 RNN 구조를 제안합니다.
• TBSA 성능을 향상시키기 위해 경계 가이드 예측, 감정 일관성, 그리고 의견 강화 대상 단어 탐지를 도입합니다.
• 제시된 통합 모델이 SemEval ABSA 및 Twitter 데이터셋에서 최첨단 기준선보다 우수하다는 것을 입증합니다.
• 각 구성 요소의 기여를 정량화하기 위한 제거 연구(ablation studies)를 제공합니다.

제안 방법

• 두 개의 스택드 LSTM(LSTM^S: 통합 태그를 사용한 완전한 TBSA 작업용), LSTM^T: 보조 대상 경계 예측용.
• 경계 가이드(BG): 전이 매트릭스 W^tr를 통해 경계에서 통합 태그로의 전이를 인코딩하고 경계 점수를 통합 태그로 매핑합니다; 신뢰도 기반 비율 alpha_t를 사용하여 기본 점수와 결합합니다.
• 감정 일관성(SC): 다중 단어 대상 내부의 감정 일관성을 유지하기 위해 현재 단어 특징과 이전 단어 특징을 혼합하는 게이트 기반 메커니즘.
• 의견 강화 OE 대상 단어 탐지: 맥락 창 주변의 의견 단어를 사용하여 잠재적 대상 단어를 탐지하는 보조 토큰 수준 분류기; 경계 정보를 정제합니다.
• 훈련은 세 가지 손실 L^S, L^T, L^O를 결합합니다( TBSA를 위한 단어/토큰 수준 교차 엔트로피, 경계, 대상 단어 탐지 각각).
• 통합 태깅 체계: Y^S = {B-POS, I-POS, E-POS, S-POS, B-NEG, I-NEG, E-NEG, S-NEG, B-NEU, I-NEU, E-NEU, S-NEU, O}

실험 결과

연구 질문

• RQ1 TBSA를 추론 시점의 별도 경계 예측에 의존하지 않고 합치된 태깅 체계로도 효과적으로 엔드-투-엔드로 해결할 수 있는가?
• RQ2 에러를 확산시키는 강제 제약 없이 경계 정보를 어떻게 활용하여 통합 TBSA 태거를 안내할 수 있는가?
• RQ3 다중 단어 대상 내에서 감정 일관성을 강제하는 것이 TBSA 예측 정확도를 향상시키는가?
• RQ4 보조 대상 단어 탐지 작업을 도입하는 것이 경계 품질과 전반적인 TBSA 성능을 향상시키는가?
• RQ5 경계 가이드 가중치 alpha_t, 컨텍스트 윈도우 s 같은 핵심 하이퍼파라미터의 TBSA 성능에 미치는 영향은 무엇인가?

주요 결과

• 통합 두-LSTM 프레임워크가 BG, SC, OE 구성요소를 포함할 때 강력한 기준선 및 최첨단 방법과 비교하여 모든 데이터셋에서 우수한 F1 점수를 달성합니다.
• Base 모델에 BG를 추가하면 경계 가이드 전이의 가치를 보여주며 TBSA 성능이 향상됩니다.
• 전체 모델(Base + BG + SC + OE)은 최상의 결과를 내며 SC와 OE의 보완적 이점이 경계 가이드 TBSA에서 발현됩니다.
• HAST-TNet 파이프라인과 비교했을 때 제안된 통합 모델은 D_L, D_R, D_T에서 각각 절대 F1 점수로 2.6%, 2.4%, 0.40%의 이득을 얻습니다.
• 제거 연구는 SC와 OE가 최첨단 결과를 달성하는 데 필요하며, SC는 주로 감정 일관성에, OE는 경계 품질 향상에 기여합니다.
• 경계 가이던스 및 보조 신호를 사용할 때 다중 단어 대상 내에서 모델이 올바르게 감정을 예측하는 사례 분석을 보여줍니다.