[논문 리뷰] Transformation Networks for Target-Oriented Sentiment Classification

Xin Li, Lidong Bing외 2명|arXiv (Cornell University)|2018. 05. 03.

Sentiment Analysis and Opinion Mining참고 문헌 24인용 수 58

한 줄 요약

TNet을 도입한 CNN 기반 모델로 Target-Specific Transformation 및 맥락 보존 메커니즘을 통해 대상 지향 감정 분류를 개선하고 벤치마크 데이터셋에서 새로운 최첨단 성능을 달성합니다.

ABSTRACT

Target-oriented sentiment classification aims at classifying sentiment polarities over individual opinion targets in a sentence. RNN with attention seems a good fit for the characteristics of this task, and indeed it achieves the state-of-the-art performance. After re-examining the drawbacks of attention mechanism and the obstacles that block CNN to perform well in this classification task, we propose a new model to overcome these issues. Instead of attention, our model employs a CNN layer to extract salient features from the transformed word representations originated from a bi-directional RNN layer. Between the two layers, we propose a component to generate target-specific representations of words in the sentence, meanwhile incorporate a mechanism for preserving the original contextual information from the RNN layer. Experiments show that our model achieves a new state-of-the-art performance on a few benchmarks.

연구 동기 및 목표

• 주목(어텐션)으로 인한 잡음과 CNN의 한계를 해결하여 대상 지향 감정 분류를 개선하려는 동기 부여.
• 각 대상에 맞춰 단어 표현을 조정하는 새로운 Target-Specific Transformation(TST) 모듈을 제안한다.
• 깊은 변환 계층 간에 맥락 정보를 보존하는 컨텍스트-보존 메커니즘을 도입한다.
• 대상과의 근접성에 기반한 위치-관련성 있는 입력으로 근접성 기반 CNN 특징 추출기를 적용하여 대상 관련 감정 단어를 강조한다.
• 다수의 벤치마크 데이터셋(LAPTOP, REST, TWITTER)에서 최첨단 성능을 보여준다.

제안 방법

• 맥락을 BiLSTM으로 인코딩하여 맥락화된 단어 표현을 얻는다.
• 대상 단어를 개별 맥락 단어에 조건화하는 동적 Target-Specific Transformation(TST)을 통해 대상 특이적 단어 표현을 생성한다.
• CPT 계층 간에 맥락 정보를 보존하기 위한 컨텍스트 보존 메커니즘(Lossless Forwarding 또는 Adaptive Scaling)을 도입한다.
• 대상 근처의 의견 단어에 초점을 맞추기 위해 위치 관련성을 가진 근접성 기반 CNN을 적용하고, 그 후 맥스풀링과 소프트맥스 분류기를 사용한다.

실험 결과

연구 질문

• RQ1 주의(attention)을 대상 특이적 변환으로 대체하는 것이 대상 지향 감정 분류를 개선할 수 있는가?
• RQ2 맥락 보존이 가능한 깊은 변환 아키텍처가 이전의 CNN이나 RNN 접근법보다 대상-맥락 상호작용을 더 잘 포착하는가?
• RQ3 근접성 인식 CNN이 특정 대상의 감정 분석 성능에 어떤 영향을 미치는가?
• RQ4 CPT 층 수가 분류 정확도와 안정성에 미치는 영향은 무엇인가?

주요 결과

• TNet 변형(LFa 및 AS)이 LAPTOP, REST, TWITTER 데이터셋에서 최상의 성능을 달성한다.
• 맥락 보존 메커니즘이 포함된 Target-Specific Transformation(TST)은 제거 변형 및 여러 강력한 기준선보다 크게 우수하다.
• 근접성 기반 위치 가중화가 CNN이 대상 관련 올바른 감정 구를 식별하는 능력을 향상시킨다.
• 최적 CPT 깊이는 2 계층; 더 깊은 구조는 학습 난이도 증가로 성능 저하를 야기한다.
• CPT를 주의(attention)로 대체하는 경우(TNet 대신 LSTM-ATT-CNN)은 이 작업에서 일반적으로 TNet보다 낮은 성능을 보이며, 특히 TWITTER처럼 노이즈가 많은 데이터에서 그렇다.
• TNet-LF와 TNet-AS는 경쟁 방법들에 비해 일관된 이득과 통계적으로 유의한 개선을 제공한다.