[논문 리뷰] Aspect Level Sentiment Classification with Deep Memory Network

Duyu Tang, Bing Qin외 1명|arXiv (Cornell University)|2016. 05. 28.

Sentiment Analysis and Opinion Mining참고 문헌 30인용 수 82

한 줄 요약

이 논문은 외부 메모리 위에서 내용 기반 및 위치 기반의 다중 레이어 주의 메커니즘을 사용하여 문맥 단어의 중요성을 명시적으로 모델링하는 딥 메모리 네트워크를 제안한다. 이 방법은 정확도와 속도 면에서 LSTM 및 주의 기반 LSTM 모델을 능가하며, SemEval 2014 데이터셋에서 최신 기술 수준의 특징 기반 SVM 시스템과 비교할 만한 성능을 달성한다.

ABSTRACT

We introduce a deep memory network for aspect level sentiment classification. Unlike feature-based SVM and sequential neural models such as LSTM, this approach explicitly captures the importance of each context word when inferring the sentiment polarity of an aspect. Such importance degree and text representation are calculated with multiple computational layers, each of which is a neural attention model over an external memory. Experiments on laptop and restaurant datasets demonstrate that our approach performs comparable to state-of-art feature based SVM system, and substantially better than LSTM and attention-based LSTM architectures. On both datasets we show that multiple computational layers could improve the performance. Moreover, our approach is also fast. The deep memory network with 9 layers is 15 times faster than LSTM with a CPU implementation.

연구 동기 및 목표

• LSTM와 같은 순환 모델이 액센트 감성 예측을 위한 주요 문맥 단어를 명시적으로 식별하는 데에 한계가 있음을 해결하기 위해.
• 각 문맥 단어의 중요도를 주어진 액센트에 비해 데이터 기반으로 계산 효율적으로 캡처하는 방법을 개발하기 위해.
• 공유된 파rameter를 가진 외부 메모리 위에서 다중 계산 레이어를 활용하여 감성 분류 성능을 향상시키기 위해.
• 구문 분석기나 감성 어휘집에 의존하지 않고 경사 하강법을 사용한 엔드 투 엔드 학습을 가능하게 하기 위해.
• 외부 메모리 위에서 다단계 주의 메커니즘을 통해 단일 단계 또는 순차적 모델보다 더 나은 표현을 도출할 수 있는지 입증하기 위해.

제안 방법

• 모델은 외부 메모리 행렬 위에서 내용 기반 및 위치 기반 주의 메커니즘을 구현한 다중 계산 레이어로 구성된 스택을 사용한다.
• 각 레이어는 액센트와 문맥 표현에서 유도된 쿼리 벡터를 기반으로, 해당 액센트에 대한 관련성에 따라 문맥 단어의 주의 가중치를 계산한다.
• 주의 메커니즘은 의미적 관련성(내용)과 위치 중요도(위치)를 반영한 가중치 합을 계산한다.
• 각 레이어의 출력은 다음 레이어로 전달되며, 레이어 간에 공유된 파rameter를 사용함으로써 문맥 중요도의 계층적 추상화를 가능하게 한다.
• 최종 레이어의 출력은 감성 분류를 위한 문장 표현으로 사용되며, 전체 네트워크는 교차 엔트로피 손실을 사용한 역전파를 통해 엔드 투 엔드로 학습된다.
• 모델은 사전 학습된 단어 임베딩, 구문 분석, 감성 어휘집이 필요 없으며, 오직 학습된 표현과 주의 메커니즘에 의존한다.

실험 결과

연구 질문

• RQ1 다중 주의 레이어를 가진 딥 메모리 네트워크가 순환 모델보다 액센트 감성 분류를 위한 문맥 단어의 중요성을 더 효과적으로 명시적으로 모델링할 수 있는가?
• RQ2 주의 메커니즘에 내용 정보와 위치 정보를 통합하면 내용 전용 주의보다 성능이 향상되는가?
• RQ3 딥 메모리 네트워크의 성능은 최신 기술 수준의 특징 기반 SVM 및 순서 기반 신경망 모델(LSTM)과 비교해 어떻게 되는가?
• RQ4 메모리 네트워크에서 다중 계산 레이어(홉)의 활용이 단일 레이어 접근 방식보다 분류 정확도를 향상시키는가?
• RQ5 실제로 표준 LSTM 기반 아키텍처보다 제안된 모델이 유의미하게 빠른가?

주요 결과

• 딥 메모리 네트워크는 SemEval 2014의 랩탑 및 레스토랑 데이터셋에서 최신 기술 수준의 특징 기반 SVM 시스템과 비교할 만한 성능을 달성한다.
• 모델은 두 데이터셋 모두에서 표준 LSTM 및 주의 기반 LSTM 아키텍처보다 분류 정확도 면에서 뛰어난 성능을 보였다.
• 9개 레이어를 가진 딥 메모리 네트워크는 CPU 기반 LSTM의 15배 빠른 속도를 기록하여 뛰어난 계산 효율성을 입증했다.
• 다중 계산 레이어(홉)의 활용은 성능 향상을 가져왔으며, 외부 메모리 위에서의 계층적 주의의 이점을 확인했다.
• 주의 메커니즘에 내용 정보와 위치 정보를 모두 통합하면 내용 전용 주의보다 더 나은 문맥 가중치 학습과 향상된 텍스트 표현을 도출할 수 있었다.
• 감성 어휘집이나 구문 분석기와 같은 외부 자원이 필요 없이, 오직 주의 메커니즘을 통한 엔드 투 엔드 학습에 의존함으로써 모델이 효과적임을 입증했다.