[논문 리뷰] Double Embeddings and CNN-based Sequence Labeling for Aspect Extraction

Hu Xu, Bing Liu외 2명|arXiv (Cornell University)|2018. 05. 11.

Sentiment Analysis and Opinion Mining참고 문헌 38인용 수 53

한 줄 요약

DE-CNN은 일반 및 도메인 특화의 새로운 이중 임베딩 방법을 사용하고, 시퀀스 레이블링을 위한 순수 CNN을 통해 제품 속성을 추출하여 추가 감독 없이 최첨단 성능을 달성합니다.

ABSTRACT

One key task of fine-grained sentiment analysis of product reviews is to extract product aspects or features that users have expressed opinions on. This paper focuses on supervised aspect extraction using deep learning. Unlike other highly sophisticated supervised deep learning models, this paper proposes a novel and yet simple CNN model employing two types of pre-trained embeddings for aspect extraction: general-purpose embeddings and domain-specific embeddings. Without using any additional supervision, this model achieves surprisingly good results, outperforming state-of-the-art sophisticated existing methods. To our knowledge, this paper is the first to report such double embeddings based CNN model for aspect extraction and achieve very good results.

연구 동기 및 목표

• 정확하게 제품 속성을 추출함으로써 미세한 감정 분석의 동기를 제시한다.
• 간단하지만 효과적인 CNN 기반 시퀀스 레이블링 모델을 제안한다.
• 일반 임베딩과 도메인 특화 임베딩의 결합이 성능을 향상시킨다는 것을 보여준다.
• 수작업 특징이나 추가 감독 없이도 경쟁력 있는 결과를 입증한다.

제안 방법

• 각 단어에 두 개의 고정(비조정) 임베딩을 연결: 일반 GloVe 및 도메인 특화 fastText 임베딩.
• 시퀀스 레이블링을 위해 단어 정렬 표현을 만들기 위해 신중히 선택된 커널 크기로 4단의 CNN 스택을 적용.
• 공유 완전 연결층과 소프트맥스 분류기를 사용하여 위치별로 B/I/O 레이블을 예측.
• 위치 정렬을 보존하기 위해 맥스풀링을 피하고 임베딩 및 활성화 뒤에 드롭아웃을 적용.
• 레이블링 의존성의 영향을 평가하기 위해 선택적으로 CRF 레이어와 비교.

실험 결과

연구 질문

• RQ1 더블 임베딩이 있는 CNN 기반 모델이 추가 감독 없이도 미세한 속성 정보를 충분히 포착할 수 있을까?
• RQ2 도메인 내 임베딩과 일반 임베딩은 속성 추출 성능에 어떻게 영향을 미치는가?
• RQ3 속성 추출 작업에서 시퀀스 레이블링에 맥스풀링이 해로운가?
• RQ4 이 설정에서 CRF 레이어가 순수 소프트맥스보다 추가 이점을 제공하는가?

주요 결과

모델	노트북	레스토랑
CRF	74.01	69.56
IHS_RD	74.55	-
NLANGP	-	72.34
WDEmb	75.16	-
LSTM	75.25	71.26
BiLSTM-CNN-CRF	77.80	72.50
RNCRF	78.42	-
CMLA	77.80	-
MIN	77.58	73.44
GloVe-CNN	77.67	72.08
Domain-CNN	78.12	71.75
MaxPool-DE-CNN	77.45	71.12
DE-LSTM	78.73	72.94
DE-OOD-CNN	80.21	74.20
DE-Google-CNN	78.80	72.10
DE-CNN-CRF	80.80	74.10
DE-CNN	81.59*	74.37*

• DE-CNN은 나열된 기준선들과 비교하여 SemEval 노트북(laptop) 및 레스토랑 데이터셋에서 가장 높은 F1 점수를 얻었다.
• 일반 임베딩과 도메인 임베딩을 함께 사용하면 둘 다 단독으로 사용할 때보다 성능이 향상된다.
• 도메인 임베딩은 노트북 도메인에서 특히 이점이 있는데, 도메인 특화 속성이 자주 등장하기 때문.
• 맥스풀링은 이 작업에서 시퀀스 레이블링 성능을 저하시킨다.
• CRF 레이어는 이 설정에서 이득이 제한적이며 도메인 간에 일관되게 유익하지 않다.