[논문 리뷰] Weakly-Supervised Aspect-Based Sentiment Analysis via Joint Aspect-Sentiment Topic Embedding

Jiaxin Huang, Meng Yu외 3명|arXiv (Cornell University)|2020. 10. 13.

Sentiment Analysis and Opinion Mining참고 문헌 32인용 수 4

한 줄 요약

이 논문은 단어 임베딩 공간에서 감성-요약 주제 임베딩을 동시에 학습함으로써, 각 요약/감성에 대해 몇 개의 키워드만을 사용하여 약한 지도 학습 방식으로 요약 기반 감성 분석을 수행하는 JASen을 제안한다. 임베딩 기반 예측을 통한 사전 학습과 자기학습을 통해 컨볼루션 신경망을 훈련함으로써, 모델은 평균적으로 요약 분류와 감성 분류에서 각각 7.4%와 5.1% 높은 F1 스코어를 달성하여 최신 기술 수준을 초월한다.

ABSTRACT

Aspect-based sentiment analysis of review texts is of great value for understanding user feedback in a fine-grained manner. It has in general two sub-tasks: (i) extracting aspects from each review, and (ii) classifying aspect-based reviews by sentiment polarity. In this paper, we propose a weakly-supervised approach for aspect-based sentiment analysis, which uses only a few keywords describing each aspect/sentiment without using any labeled examples. Existing methods are either designed only for one of the sub-tasks, neglecting the benefit of coupling both, or are based on topic models that may contain overlapping concepts. We propose to first learn joint topic embeddings in the word embedding space by imposing regularizations to encourage topic distinctiveness, and then use neural models to generalize the word-level discriminative information by pre-training the classifiers with embedding-based predictions and self-training them on unlabeled data. Our comprehensive performance analysis shows that our method generates quality joint topics and outperforms the baselines significantly (7.4% and 5.1% F1-score gain on average for aspect and sentiment classification respectively) on benchmark datasets. Our code and data are available at https://github.com/teapot123/JASen.

연구 동기 및 목표

• 대규모 레이블이 부여된 데이터가 필요하지 않은 요약 기반 감성 분석의 과제를 해결하기 위해.
• 단어 임베딩 공간에서 세밀한 수준의 공동 주제 임베딩을 학습함으로써 감성과 요약 정보를 동시에 모델링하기 위해.
• 예를 들어 'semi-private'와 같이 동시에 분위기와 긍정적 감성 모두를 암시하는 표현의 공유 의미를 포착함으로써 요약 추출과 감성 분류를 향상시키기 위해.
• 주제 모델의 한계, 예를 들어 주제 겹침과 불안정성 문제를 해결하기 위해 학습된 공동 주제의 독창성을 강제하기 위해.
• 비라벨 데이터에 대한 임베딩 기반 예측을 활용하여 신경 분류기의 효과적인 자기학습을 가능하게 하기 위해.

제안 방법

• 정규화를 통해 주제의 독창성을 강제함으로써, 공유된 단어 임베딩 공간에서 각 ⟨감성, 요약⟩ 쌍에 대한 공동 주제 임베딩을 학습한다.
• 도메인 내 문장 집합에서 주제 및 단어 임베딩을 동시에 훈련하며, 사용자가 제공한 키워드가 모든 공동 주제에 대해 분포를 가지도록 모델링한다.
• 학습된 공동 주제 표현을 사용하여 비라벨 리뷰에 대한 임베딩 기반 예측을 유도한다.
• 이러한 임베딩 기반 예측을 지도로 하여 컨볼루션 신경망(CNNs)을 사전 학습한다.
• 모델이 높은 신뢰도를 가진 예측을 통해 비라벨 데이터에서 자기학습을 수행함으로써 CNN을 보완한다.
• 특정 ⟨감성, 요약⟩ 쌍과 키워드를 연관시키도록 하되, 동시에 임베딩 공간 내 의미의 일관성을 유지하도록 하는 공동 학습 목표를 사용한다.

실험 결과

연구 질문

• RQ1 단어 임베딩 공간에서 감성-요약 공동 주제 임베딩이 약한 지도 학습 기반 요약 기반 감성 분석의 성능을 향상시킬 수 있는가?
• RQ2 단지 몇 개의 키워드에서만 학습하는 경우, 별개로 요약과 감성을 모델링하는 것보다 더 잘 일반화되는 독창적이고 일관된 공동 주제를 학습할 수 있는가?
• RQ3 임베딩 기반 예측이 신경 모델의 사전 학습에 효과적일 수 있으며, 비라벨 데이터에서 자기학습을 통해 추가로 개선될 수 있는가?
• RQ4 기존의 주제 모델 기반 및 신경망 기반 접근법과 비교할 때, 이 방법은 요약 및 감성 분류의 F1 스코어에서 어떤 성능을 보이는가?
• RQ5 모델은 'semi-private'와 같이 동시에 요약과 감성을 모두 암시하는 세밀하고 맥락에 특화된 표현을 포착할 수 있는가?

주요 결과

• 제안된 JASen 모델은 기준 모델 대비 벤치마크 데이터셋에서 요약 분류의 평균 F1 스코어를 7.4% 향상시켰다.
• 감성 극성 분류의 경우 기준 모델 대비 평균 F1 스코어를 5.1% 향상시켰다.
• 모델은 'semi-private'와 'date'와 같이 ⟨좋음, 분위기⟩ 주제를 묘사하는 일관된 용어 클러스터를 생성한다.
• 절단 실험 결과, 공동 주제 학습을 제거하면 성능이 크게 떨어지며, 이는 공동 주제 학습의 중요성을 확인한다.
• 모델은 동일한 도메인 내에서 유사한 요약인 'os'와 'support'를 기존 모델이 혼동하는 것과 달리 정확히 구분한다.
• 사례 연구 결과, 예를 들어 분위기를 묘사하는 리뷰에서 '분위기'를 '위치'보다 더 잘 선택하는 등, 모호한 경우에서 골드 표준 레이블보다 더 맥락적으로 정확한 예측을 한다.