[논문 리뷰] An Unsupervised Approach for Aspect Category Detection Using Soft Cosine Similarity Measure

Erfan Ghadery, Sajad Movahedi외 2명|arXiv (Cornell University)|2018. 12. 08.

Sentiment Analysis and Opinion Mining인용 수 5

한 줄 요약

이 논문은 레이블이 없는 리뷰 문장에 대해 소프트 코사인 유사도와 k-means 군집화를 사용한 비지도 학습 방법을 제안하며, 레이블 데이터나 특징 공학의 필요성을 제거한다. 이 방법은 SemEval-2014 레스토랑 데이터셋에서 76.98%의 F1 스코어를 기록하여 기존의 비지도 및 지도 학습 기준선을 크게 앞서나간다.

ABSTRACT

Aspect category detection is one of the important and challenging subtasks of aspect-based sentiment analysis. Given a set of pre-defined categories, this task aims to detect categories which are indicated implicitly or explicitly in a given review sentence. Supervised machine learning approaches perform well to accomplish this subtask. Note that, the performance of these methods depends on the availability of labeled train data, which is often difficult and costly to obtain. Besides, most of these supervised methods require feature engineering to perform well. In this paper, we propose an unsupervised method to address aspect category detection task without the need for any feature engineering. Our method utilizes clusters of unlabeled reviews and soft cosine similarity measure to accomplish aspect category detection task. Experimental results on SemEval-2014 restaurant dataset shows that proposed unsupervised approach outperforms several baselines by a substantial margin.

연구 동기 및 목표

• 레이블된 학습 데이터가 부족하거나 이용할 수 없는 저자원 환경에서의 적응 범주 검출 과제를 해결한다.
• 적응 기반 감성 분석에서 학습 데이터의 수동 애너테이션에 소요되는 비용과 시간을 줄이기 위해 필요로 하는 레이블을 제거한다.
• 단어 임베딩과 의미 유사도 측정을 활용하여 수작업 특징 공학의 의존도를 줄인다.
• 다양한 리뷰 문장에 대해 잘 일반화되는 강력하고 파rameter 효율적인 비지도 학습 방법을 개발한다.

제안 방법

• 각 범주에 대해 'food', 'service'와 같은 5개의 시드 단어를 수작업으로 선택하여 각 범주를 대표하게 하되, '에피소드/기타' 범주는 그 성격이 추상적이므로 제외한다.
• 사전 학습된 단어 임베딩을 사용하고 각 리뷰 문장의 평균 임베딩을 계산하여 문장의 의미적 내용을 표현한다.
• 각 문장의 평균 단어 임베딩 간 유클리드 거리를 기반으로 k-means 군집화를 적용하여 k개의 군집을 형성한다.
• 각 범주의 시드 단어와 테스트 문장 간의 소프트 코사인 유사도를 계산하여 문장-범주 유사도 점수를 산정한다.
• 군집에 포함된 모든 문장과 해당 범주의 시드 단어 간의 소프트 코사인 유사도 평균을 계산하여 군집-범주 유사도를 산정한다.
• 학습된 보정 계수 α를 사용해 문장의 범주 점수와 가장 가까운 군집의 점수를 보간하고, 정규화한 후 임계값을 적용하여 최종 범주 예측을 수행한다.

실험 결과

연구 질문

• RQ1 레이블된 학습 데이터에 의존하지 않고도 비지도 학습 방법이 적응 범주 검출에서 경쟁적인 성능을 달성할 수 있는가?
• RQ2 특정 특징을 공학하지 않은 상황에서 소프트 코사인 유사도가 문장과 적응 범주 간의 의미 관계를 얼마나 효과적으로 포착하는가?
• RQ3 문장 수준의 유사도만을 고려할 때와 비교해, 레이블이 없는 문장을 군집화하는 것이 적응 범주 검출에 얼마나 기여하는가?
• RQ4 정확한 범주 예측을 위해 문장 수준과 군집 수준의 유사도 점수 사이의 최적의 균형은 무엇인가?

주요 결과

• 제안된 비지도 학습 방법은 SemEval-2014 레스토랑 데이터셋에서 76.98%의 F1 스코어를 기록하여, 기존의 최고 수준의 비지도 기준선(Spreading Activation)보다 9.98%p 높은 성능을 보였다.
• 비지도 학습임에도 불구하고 SemEval-2014의 지도 학습 기준선보다 F1 스코어에서 13.08%p 향상되어 높은 성능을 입증하였다.
• 하이퍼파라미터 튜닝 결과, 보정 계수 α = 0.7과 군집 수 k = 17일 때 최적의 성능을 기록하였으며, 이 범위 외의 값에서는 성능이 저하됨을 확인하였다.
• 군집 크기 변화에 대해 성능이 뛰어나게 강인하였으며, k = 17일 때 최적의 결과를 얻었고, 이는 군집의 밀도와 일관성 사이의 균형을 잘 이룬 것으로 나타났다.
• 소프트 코사인 유사도를 사용함으로써, 문장에 정확한 시드 단어가 포함되어 있지 않더라도 의미 유사도를 포착하여 적응 범주 검출이 효과적으로 이루어질 수 있었다.
• 문장 수준과 군집 수준의 점수를 보간함으로써 분류 정확도가 향상되었으며, 이는 군집 수준의 맥락 정보가 개별 문장 예측을 향상시킨다는 것을 확인시켰다.