[論文レビュー] Transformation Networks for Target-Oriented Sentiment Classification

Xin Li, Lidong Bing+2 more|arXiv (Cornell University)|May 3, 2018

Sentiment Analysis and Opinion Mining参考文献 24被引用数 58

ひとこと要約

TNet를 도입하는 CNN 기반 모델로 Target-Specific Transformation과 컨텍스트 보존 메커니즘을 활용하여 타깃 지향 감성 분류를 개선하고 벤치마크 데이터셋에서 새로운 최첨단 성능을 달성한다.

ABSTRACT

Target-oriented sentiment classification aims at classifying sentiment polarities over individual opinion targets in a sentence. RNN with attention seems a good fit for the characteristics of this task, and indeed it achieves the state-of-the-art performance. After re-examining the drawbacks of attention mechanism and the obstacles that block CNN to perform well in this classification task, we propose a new model to overcome these issues. Instead of attention, our model employs a CNN layer to extract salient features from the transformed word representations originated from a bi-directional RNN layer. Between the two layers, we propose a component to generate target-specific representations of words in the sentence, meanwhile incorporate a mechanism for preserving the original contextual information from the RNN layer. Experiments show that our model achieves a new state-of-the-art performance on a few benchmarks.

研究の動機と目的

• 주의 induced 노이즈 및 CNN의 한계를 다룸으로써 개선된 타깃 지향 감성 분류를 동기화한다.
• 각 타깃에 맞춘 단어 표현을 설계하는 새로운 Target-Specific Transformation(TST) 모듈을 제안한다.
• 깊은 변환 계층 전반에서 맥락 정보를 유지하기 위한 컨텍스트 보존 메커니즘을 도입한다.
• 타깃에 근접한 위치 정보를 반영한 입력으로 위치 의존형 인접성 CNN 특징 추출기를 적용하여 타깃 관련 감정 단어를 강조한다.
• 다수의 벤치마크 데이터셋(LAPTOP, REST, TWITTER)에서 최첨단 성능을 입증한다.

提案手法

• BiLSTM으로 맥락을 인코딩하여 맥락화된 단어 표현을 얻는다.
• 동적 Target-Specific Transformation(TST)을 통해 타깃 단어를 개별 컨텍스트 단어에 조건화하여 타깃 특화 단어 표현을 생성한다.
• CPT 계층 전반의 맥락 정보를 보존하기 위한 컨텍스트 보존 메커니즘(Lossless Forwarding 또는 Adaptive Scaling)을 도입한다.
• 타깃 근처의 의견 단어에 초점을 맞추는 위치 관련 인접성 기반의 CNN을 적용한 뒤, 최대 풀링과 소프트맥스 분류기를 따른다.

実験結果

リサーチクエスチョン

• RQ1 주의機構을 타깃 특화 변환으로 대체하면 타깃 지향 감성 분류가 개선되는가?
• RQ2 컨텍스트 보존형의 심층 변환 아키텍처가 기존의 CNN 또는 RNN 접근법보다 타깃-맥락 상호작용을 더 잘 포착하는가?
• RQ3 근접성 인식 CNN이 특정 타깃의 감성을 대상으로 할 때 성능에 어떤 영향을 미치는가?
• RQ4 CPT 층의 수가 분류 정확도와 안정성에 어떤 영향을 주는가?

主な発見

• TNet 변형(LFa 및 AS)은 LAPTOP, REST, TWITTER 데이터셋에서 가장 좋은 성능을 달성한다.
• 컨텍스트 보존 메커니즘을 갖춘 Target-Specific Transformation(TST)은 절단된 변형 및 여럿 강력한 baselines를 크게 능가한다.
• 근접성 기반 위치 가중화는 CNN이 타깃 관련 올바른 감정 구절을 식별하는 능력을 향상시킨다.
• 최적 CPT 깊이는 2 레이어; 더 깊은 구조는 학습 난이도 증가로 성능이 저하된다.
• CPT를 주의(attention)로 대체한 LSTM-ATT-CNN은 일반적으로 이러한 작업에서 TNet보다 낮은 성능을 보이며, 노이즈가 많은 데이터(TWITTER)에서 특히 그렇다.
• TNet-LF 및 TNet-AS는 경쟁 방법에 비해 일관된 이익을 가져오며 통계적으로 유의한 개선을 보인다.