[논문 리뷰] Cold-Start Aware User and Product Attention for Sentiment Classification

Reinald Kim Amplayo, Jihyeok Kim외 2명|arXiv (Cornell University)|2018. 06. 14.

Sentiment Analysis and Opinion Mining인용 수 3

한 줄 요약

이 논문은 사용자 및 제품 정보를 새로운 콜드스타트 인식 어텐션(CSAA) 메커니즘을 통해 통합함으로써 감성 분류를 향상시키는 경량 모델인 하이브리드 컨텍스추얼라이즈드 감성 분류기(HCSC)를 제안한다. CSAA는 빈도 지시 게이트를 사용해 유사한 실체로부터의 고유 벡터와 공유 벡터 사이를 동적으로 선택하며, 특히 데이터 부족 상황에서 이전 모델들을 크게 능가하면서 동시에 학습 시간을 최대 10.7배까지 단축시킨다.

ABSTRACT

The use of user/product information in sentiment analysis is important, especially for cold-start users/products, whose number of reviews are very limited. However, current models do not deal with the cold-start problem which is typical in review websites. In this paper, we present Hybrid Contextualized Sentiment Classifier (HCSC), which contains two modules: (1) a fast word encoder that returns word vectors embedded with short and long range dependency features; and (2) Cold-Start Aware Attention (CSAA), an attention mechanism that considers the existence of cold-start problem when attentively pooling the encoded word vectors. HCSC introduces shared vectors that are constructed from similar users/products, and are used when the original distinct vectors do not have sufficient information (i.e. cold-start). This is decided by a frequency-guided selective gate vector. Our experiments show that in terms of RMSE, HCSC performs significantly better when compared with on famous datasets, despite having less complexity, and thus can be trained much faster. More importantly, our model performs significantly better than previous models when the training data is sparse and has cold-start problems.

연구 동기 및 목표

• 사용자나 제품이 리뷰가 적고 학습 데이터가 부족한 경우 발생하는 콜드스타트 문제를 해결하기 위해.
• 고유 벡터에 정보가 부족한 경우 유사한 사용자나 제품에서의 공유 표현을 활용하여 데이터가 적은 데이터셋에서의 모델 성능을 향상시키기 위해.
• 높은 정확도를 유지하면서도 효율성을 훼손하지 않는 가벼운, 빠르게 학습 가능한 모델을 설계하기 위해.
• 빈도 지시 게이트 메커니즘을 통해 콜드스타트와 비콜드스타트 실체 간의 차이를 명시적으로 모델링하기 위해.
• 데이터 부족 상황을 고려한 사용자 및 제품 컨텍스트 통합이 성능 향상에 상당한 기여를 한다는 것을 입증하기 위해.

제안 방법

• HCSC는 단어 표현의 짧은 및 긴 범위 의존성을 모두 포착하는 빠른 하이브리드 컨텍스추얼라이즈드 워드 인코더를 사용한다.
• 콜드스타트 인식 어텐션(CSAA)을 도입하여 세 가지 구성 요소를 결합한다: 고유한 사용자/제품 벡터, 유사한 사용자/제품에서 온 공유 벡터, 빈도 지시 선택 게이트.
• 빈도 지시 게이트는 높은 빈도의 사용자/제품일 경우 고유 벡터를, 낮은 빈도의 콜드스타트 실체일 경우 공유 벡터를 사용할지 결정한다.
• 공유 벡터는 속성 유사도 기반으로 유사한 사용자나 제품의 임베딩에서 계산되며, 낮은 데이터 환경에서 지식 전이를 가능하게 한다.
• 스택드 LSTM 대신 단일 수준의 BiLSTM 또는 CNN을 사용함으로써 학습 시간을 단축시키면서도 성능를 유지한다.
• 최종 인코딩 표현에 주의 풀링을 적용하며, 게이트 메커니즘이 고유 벡터와 공유 벡터의 기여도를 제어한다.

실험 결과

연구 질문

• RQ1 데이터가 희소하거나 사용자/제품의 리뷰 수가 적은 상황에서 사용자 및 제품 정보를 감성 분류에 효과적으로 활용할 수 있는 방법은 무엇인가?
• RQ2 사용자/제품 기능을 단순 통합하는 것과 비교해 빈도 지시 게이트 메커니즘이 콜드스타트 사용자 및 제품의 성능 향상에 얼마나 기여하는가?
• RQ3 복잡한 깊은 아키텍처인 계층적 LSTM과 비교해도 경량 어텐션 메커니즘이 정확도와 학습 속도 양면에서 뛰어난 성능을 낼 수 있는가?
• RQ4 다양한 수준의 데이터 희소성과 콜드스타트 비율을 가진 데이터셋에서 모델의 성능는 어떻게 변하는가?
• RQ5 사용자나 제품을 콜드스타트로 간주할 때의 최적의 임계값은 무엇이며, 모델은 이에 어떻게 적응하는가?

주요 결과

• HCSC는 모델 복잡도를 감소시켜도 IMDB 및 Yelp 2013 데이터셋에서 이전의 SOTA 모델인 NSC보다 유의미하게 낮은 RMSE를 기록한다.
• 희소 데이터셋에서 HCSC는 경쟁 모델들보다 뚜렷한 성능 향상을 보이며, 콜드스타트 상황 처리의 효과성을 확인한다.
• Yelp 2013 데이터셋에서 HCSC는 스택드 LSTM 대신 단일 수준의 BiLSTM를 사용함으로써 NSC 대비 최대 10.7배 빠른 학습 시간을 기록한다.
• 웨이불 누적 분포 분석 결과, 사용자는 약 5건의 리뷰로 비콜드스타트로 간주될 수 있으며, 제품의 경우 유사한 확신을 가질 수 있도록 약 40건의 리뷰가 필요하다.
• 어텐션 및 게이트 값의 시각화 결과, HCSC가 콜드스타트 사용자 및 제품에 대해 올바르게 공유 벡터로 전환하며, '신선한'이나 '즐거웠다'와 같은 관련 감성 단어에 주의를 집중하는 것으로 확인되었다.
• 공유 벡터가 의미적으로 유의미하다는 것이 입증되었으며, 이는 비콜드스타트 실체의 고유 벡터와 유사한 형태를 띠고 있음을 보여주며 지식 전이 메커니즘의 타당성을 뒷받침한다.