[논문 리뷰] Review Helpfulness Prediction with Embedding-Gated CNN

Cen Chen, Minghui Qiu외 5명|arXiv (Cornell University)|2018. 08. 29.

Sentiment Analysis and Opinion Mining참고 문헌 16인용 수 7

한 줄 요약

이 논문은 다중 해상도 표현(단어, 문자, 주제)에 대한 적응형 게이팅 메커니즘을 통해 단어 수준의 중요도 가중치를 학습함으로써 리뷰 유용성 예측을 향상시키는 임bedding-게이팅 CNN(EG-CNN) 모델을 제안한다. 또한 데이터가 풍부한 도메인에서 데이터가 부족한 도메인으로 지식을 전이하기 위해 교차 도메인 관계 학습을 통합하여, 특히 '시계'와 같은 저자원 도메인에서 최신 기술 성능을 달성한다.

ABSTRACT

Product reviews, in the form of texts dominantly, significantly help consumers finalize their purchasing decisions. Thus, it is important for e-commerce companies to predict review helpfulness to present and recommend reviews in a more informative manner. In this work, we introduce a convolutional neural network model that is able to extract abstract features from multi-granularity representations. Inspired by the fact that different words contribute to the meaning of a sentence differently, we consider to learn word-level embedding-gates for all the representations. Furthermore, as it is common that some product domains/categories have rich user reviews, other domains not. To help domains with less sufficient data, we integrate our model into a cross-domain relationship learning framework for effectively transferring knowledge from other domains. Extensive experiments show that our model yields better performance than the existing methods.

연구 동기 및 목표

• 심층 신경망 내 적응형 게이팅을 통해 단어 수준의 중요도를 모델링하여 리뷰 유용성 예측을 향상시키는 것.
• 관련된 데이터가 풍부한 도메인에서 데이터가 부족한 제품 도메인으로 효과적인 지식 전이를 가능하게 하여 데이터 부족 문제를 해결하는 것.
• 표준 단어 임베딩을 넘어서 단어, 문자, 주제 수준의 다중 해상도 표현을 통합하여 특징 학습을 향상시키는 것.
• 도메인 간 상관관계를 함께 학습하고 도메인 간 지식 전이를 통해 일반화 성능을 향상시키는 통합 프레임워크를 개발하는 것.
• 학습된 게이팅 가중치를 통해 어떤 단어가 유용성 예측에 가장 기여하는지 파악할 수 있는 해석 가능한 통찰을 제공하는 것.

제안 방법

• 모델은 의미 이해를 향상시키기 위해 단어 수준의 임베딩, 문자 수준의 CNN 특징, 주제 수준의 분포를 결합한 다중 해상도 입력 표현을 사용한다.
• 모든 입력 모odal리티에서 각 단어 표현의 중요도를 동적으로 가중치를 매기는 단어 수준의 게이팅 메커니즘이 도입되어, 네트워크가 의미적으로 중요한 용어에 집중할 수 있도록 한다.
• 게이팅 메커니즘은 미분 가능하며 CNN와 함께 공동으로 훈련되어 특징 추출과 관련 단어에 대한 주의 집중을 종합적으로 학습할 수 있도록 한다.
• 소스 도메인과 타겟 도메인 간 상관관계를 모델링하기 위해 도메인 관계 학습 모듈이 통합되어, 다중 작업 학습 프레임워크 내에서 체계적인 지식 전이를 가능하게 한다.
• 전체 모델은 공유 인코더와 도메인별 헤드를 사용하며, 모든 도메인에 대해 함께 최적화하여 공유 특징과 도메인별 특징을 모두 활용한다.
• 모델은 도메인 내 및 교차 도메인 훈련을 모두 지원하며, 여러 아마존 제품 카테고리에서 회귀 지표를 통해 성능을 평가한다.

실험 결과

연구 질문

• RQ1 표준 CNN보다 더 높은 성능을 내기 위해 적응형 게이팅 메커니즘을 통해 단어 수준의 중요도 가중치를 학습함으로써 게이팅 CNN 메커니즘이 리뷰 유용성 예측을 향상시킬 수 있는가?
• RQ2 다중 해상도 표현(단어, 문자, 주제)이 리뷰 유용성 예측에서 특징 학습을 어떻게 향상시키는가?
• RQ3 교차 도메인 관계 학습이 데이터가 풍부한 도메인에서 데이터가 부족한 제품 도메인으로 지식을 효과적으로 전이할 수 있는가?
• RQ4 도메인 상관관계 모델링 통합이 완전히 공유된 모델이나 타겟 전용 모델 대비 저자원 도메인에서 성능 향상에 기여하는가?
• RQ5 학습된 게이팅 가중치가 어떤 단어가 리뷰 유용성 예측에 가장 예측력 있는지를 파악하는 데 있어 해석 가능한 통찰을 제공할 수 있는가?

주요 결과

• 제안된 EG-CNN 모델은 평가된 모든 도메인에서 수작업 특징 기반 베이스라인과 순수 CNN 모델보다 뛰어난 성능을 보이며, 학습된 게이팅 메커니즘의 효과성을 입증한다.
• '시계' 도메인은 라벨이 부여된 리뷰가 1만 건 뿐이지만, 모델은 F1 스코어 0.535를 기록하여 타겟 전용 베이스라인(0.515) 대비 3.9% 상대적 향상을 달성한다.
• 완전히 공유된 모델는 '가정' 도메인에서 타겟 전용 모델(0.541)보다 성능이 열 劣(0.518)하여, 도메인 간 이질성이 존재할 경우 무분별한 지식 전이가 성능을 해칠 수 있음을 시사한다.
• 제안된 모델는 모든 도메인에서 가장 높은 F1 스코어를 기록하며, 타겟 전용 베이스라인 대비 0.013에서 0.027의 향상을 보이며 특히 저자원 도메인에서 유의미한 개선을 이룬다.
• 게이팅 가중치는 해석 가능한 통찰을 제공하며, 높은 게이팅 값은 도메인 유용성 예측에 더 큰 기여를 한다는 것을 의미한다. 예를 들어 '좋은 배터리 수명'과 같은 묘사적 어휘는 더 높은 주의를 받는다.
• 도메인 관계 학습 모듈은 의미 있는 교차 도메인 상관관계를 성공적으로 식별하고 활용하여, 부정적 전이 없이 효과적인 전이 학습을 가능하게 하였다.