[논문 리뷰] User Reviews and Language: How Language Influences Ratings

Scott A. Hale|arXiv (Cornell University)|2016. 05. 06.

Digital Marketing and Social Media참고 문헌 11인용 수 3

한 줄 요약

이 연구는 트립어드바이저에서 런던 관광 명소에 대한 다국어 사용자 리뷰의 별점 평가를 분석하여, 다양한 언어 간 평가가 일반적으로 높은 상관관계를 보이지만 언어 조합에 따라 상당한 차이가 있음을 발견하였다. 주요 기여는 모든 언어의 평가를 평균화하는 것이 오해의 소지가 있을 수 있다는 증거로, 일부 언어(예: 독일어, 프랑스어)는 다른 언어와 더 강하게 상관관계를 보이는 반면, 다른 언어(예: 일본어, 러시아어)는 그렇지 않다는 점에서 의사결정에 있어 언어별로 특화된 관련성이 있음을 시사한다.

ABSTRACT

The number of user reviews of tourist attractions, restaurants, mobile apps, etc. is increasing for all languages; yet, research is lacking on how reviews in multiple languages should be aggregated and displayed. Speakers of different languages may have consistently different experiences, e.g., different information available in different languages at tourist attractions or different user experiences with software due to internationalization/localization choices. This paper assesses the similarity in the ratings given by speakers of different languages to London tourist attractions on TripAdvisor. The correlations between different languages are generally high, but some language pairs are more correlated than others. The results question the common practice of computing average ratings from reviews in many languages.

연구 동기 및 목표

• 다른 언어로 작성된 사용자 리뷰가 관광 명소에 대해 의미 있게 단일 평균 평점으로 집계될 수 있는지 평가하는 것.
• 다른 언어를 사용하는 사용자가 동일한 런던 관광 명소에 대해 주는 별점 평가 간 상관관계의 정도를 조사하는 것.
• 다국어 e커머스 및 인터페이스 설계에 있어 사용자 경험과 리뷰 행동의 언어적 차이가 미치는 영향을 평가하는 것.
• 문화적 및 언어적 요인이 평가 행동과 외국어 리뷰의 인지된 관련성에 어떻게 영향을 미칠 수 있는지 탐구하는 것.

제안 방법

• 2015년 7월에 tripadvisor.co.uk에서 3,040개의 런던 관광 명소에 대한 516,641건의 리뷰를 크롤링하였다.
• 기계 번역 링크 매개변수를 사용해 리뷰의 언어를 식별하고, Compact Language Detection (CLD) 툴킷을 활용해 검증하였다.
• 분석을 위해 별점 평가, 사용자 ID, 리뷰 날짜, 작성자 위치를 추출하였다.
• 다른 언어 간 평가 간 상관관계를 평가하기 위해 쌍별 상관계수를 계산하였다.
• 사용자 행동 분석을 위해 다국어 리뷰 작성 및 리뷰 빈도를 분석하여 사용자 활동 패턴을 평가하였다.
• 통계적 검정(p < 0.001)을 사용해 단일언어 사용자와 다국어 사용자 간 리뷰 활동을 비교하였다.

실험 결과

연구 질문

• RQ1 다른 언어를 사용하는 사용자가 동일한 런던 관광 명소에 대해 주는 별점 평가는 얼마나 유사한가?
• RQ2 어느 언어 조합이 평가 상관관계가 가장 높고, 가장 낮은가?
• RQ3 다국어 사용자는 단일언어 사용자와 비교해 리뷰 행동에서 얼마나 다른가?
• RQ4 언어 조합 간 상관관계는 외국어 리뷰의 의사결정 유용성에 어떻게 영향을 미치는가?

주요 결과

• 다른 언어 간 평가 간 상관관계는 일반적으로 높으며, 모든 언어 조합에서 중앙값 상관계수는 0.68이다.
• 독일어, 노르웨이어, 프랑스어 평가는 다른 언어와 가장 강한 상관관계를 보이며, 더 높은 다국어 일致성을 나타낸다.
• 일본어, 포르투갈어, 러시아어 평가는 가장 낮은 상관관계를 보이며, 다른 언어 사용자에게 예측 가능한 관련성이 낮다는 것을 시사한다.
• 다양한 언어로 글을 쓰는 사용자는 평균 5.1건의 리뷰를 작성하는 데 반해, 단일언어 사용자는 평균 3.8건을 작성한다(p < 0.001).
• 64%의 사용자가 오직 한 건의 리뷰만 작성했고, 다국어로 작성한 리뷰는 전체의 1%에 불과하지만, 다국어 사용자는 전반적으로 더 활동적이다.
• 상관계수 구조는 특정 언어의 평가가 사용자의 잠재적 경험을 더 잘 반영할 수 있음을 시사하며, 이는 사용자의 모국어에 따라 달라질 수 있다.