[논문 리뷰] The Longer the Better? The Interplay Between Review Length and Line of Argumentation in Online Consumer Reviews

Bernhard Lutz, Nicolas Pröllochs외 1명|arXiv (Cornell University)|2019. 09. 10.

Sentiment Analysis and Opinion Mining인용 수 6

한 줄 요약

이 연구는 온라인 리뷰가 길수록 항상 더 유용하다는 가정을 도전하며, 리뷰의 유용성이 논증 구조에 따라 달라진다는 점을 보여준다: 논증 변화가 빈번하지 않은 경우에만 긴 리뷰가 더 유용하다. 자연어 처리(NLP)를 활용해 문장 수준의 정서 변화를 탐지한 결과, 높은 빈도의 논증 변화는 특히 긴 리뷰에서 인지적 과부하로 인해 유용성을 감소시킨다. 이는 전자상거래 리뷰 시스템을 향상시키기 위한 더 세련된 모델을 제공한다.

ABSTRACT

Review helpfulness serves as focal point in understanding customers' purchase decision-making process on online retailer platforms. An overwhelming majority of previous works find longer reviews to be more helpful than short reviews. In this paper, we propose that longer reviews should not be assumed to be uniformly more helpful; instead, we argue that the effect depends on the line of argumentation in the review text. To test this idea, we use a large dataset of customer reviews from Amazon in combination with a state-of-the-art approach from natural language processing that allows us to study argumentation lines at sentence level. Our empirical analysis suggests that the frequency of argumentation changes moderates the effect of review length on helpfulness. Altogether, we disprove the prevailing narrative that longer reviews are uniformly perceived as more helpful. Our findings allow retailer platforms to improve their customer feedback systems and to feature more useful product reviews.

연구 동기 및 목표

• 전자상거래에서 더 긴 리뷰가 항상 더 유용하다는 일반적인 가정을 도전하기 위해.
• 리뷰 길이와 유용성 간의 관계가 리뷰 내 논증 변화 빈도에 의해 어떻게 조절되는지 조사하기 위해.
• 소비자 리뷰에서 문장 수준의 논증 선을 탐지하기 위한 NLP 기반 방법을 개발하고 적용하기 위해.
• 소매상이 리뷰 순위 및 고객 피드백 시스템을 개선하기 위한 실질적인 통찰을 제공하기 위해.
• 고관여 제품과 저관여 제품 간의 논증 효과의 차이를 검토하기 위해.

제안 방법

• 리뷰 텍스트에서 문장 수준의 정서(긍정/부정)를 추론하기 위해 분산 텍스트 표현과 다중 샘플 학습을 결합한 최첨단 NLP 모델을 적용했다.
• 정서 레이블의 순서를 사용해 논증 변화를 탐지—연속된 문장 간 정서가 긍정에서 부정 또는 부정에서 긍정으로 전환되는 전이로 정의했다.
• 각 리뷰당 이러한 정서 전환 빈도를 수량화하기 위해 '리뷰 논증 일관성(RAC)'이라는 지표를 구축했다.
• 리뷰 길이와 논증 변화가 함께 유용성 인식에 미치는 영향을 테스트하기 위해 상호작용 항목을 포함한 계층적 선형 모델을 사용했다.
• 결과의 타당성을 검증하기 위해 보다 다양한 RAC 정의(중립 문장 포함)와 혼합 효과 토비트 모델을 사용한 탄력성 검증을 수행했다.
• 제품 관여도(저관여 대 고관여)에 따라 분석을 분할하여 제품 유형이 논증 동적 변화에 미치는 조절 효과를 평가했다.

실험 결과

연구 질문

• RQ1 긴 리뷰의 유용성은 논증 변화의 빈도에 따라 달라지는가?
• RQ2 논증 변화 빈도는 리뷰 길이가 유용성 인식에 미치는 영향을 어떻게 조절하는가?
• RQ3 논증 변화의 영향이 고관여 제품과 저관여 제품 간에 다를까?
• RQ4 문장 수준의 논증 패턴을 NLP 기반으로 탐지하면 리뷰의 유용성을 신뢰성 있게 예측할 수 있는가?
• RQ5 중립 문장의 존재가 논증 변화와 유용성 간의 관계를 변화시키는가?

주요 결과

• 리뷰 길이와 논증 변화 간의 상호작용은 통계적으로 유의미하다(β = -0.169, p < 0.001), 이는 논증 변화가 자주 일어날수록 긴 리뷰가 더 유용성이 낮아진다는 것을 의미한다.
• 높은 빈도의 논증 변화는 인지적 부하와 정보 과부하로 인해 긴 리뷰의 유용성을 감소시킨다.
• 논증 변화 자체의 계수는 음수이면서 유의미하다(β = -0.036, p < 0.001), 이는 빈번한 전환이 독립적으로 유용성 인식을 낮춘다는 것을 보여준다.
• 저관여 제품의 경우, 논증 변화가 유용성에 미치는 영향이 더 두드러지며 통계적으로 유의미하여, 이러한 맥락에서는 명확한 의견을 선호하는 경향이 뚜렷하다.
• 다양한 RAC 정의와 혼합 효과 토비트 모델을 사용한 탄력성 검증을 통해 주요 결과의 안정성이 확인되었다.
• 결과는 논증 구조가 리뷰 유용성 결정에 중요한 요소이지만, 이전에는 간과되었던 요소임을 보여주며, 리뷰 길이에 대한 일률적인 시각을 도전한다.