[論文レビュー] User Reviews and Language: How Language Influences Ratings

Scott A. Hale|arXiv (Cornell University)|May 6, 2016

Digital Marketing and Social Media参考文献 11被引用数 3

ひとこと要約

本研究は、トリップアドバイザーのロンドン観光スポットにおける多言語レビューの星評価を分析し、異なる言語間の評価は一般的に高い相関を示すが、言語ペアによって顕著に異なることを明らかにした。主な貢献は、全言語の評価を平均化することが誤解を招く可能性があるという証拠であり、一部の言語（例：ドイツ語、フランス語）は他の言語とより強く相関している一方で、他の言語（例：日本語、ロシア語）は相関が弱いため、意思決定における言語特有の関連性が示唆される。

ABSTRACT

The number of user reviews of tourist attractions, restaurants, mobile apps, etc. is increasing for all languages; yet, research is lacking on how reviews in multiple languages should be aggregated and displayed. Speakers of different languages may have consistently different experiences, e.g., different information available in different languages at tourist attractions or different user experiences with software due to internationalization/localization choices. This paper assesses the similarity in the ratings given by speakers of different languages to London tourist attractions on TripAdvisor. The correlations between different languages are generally high, but some language pairs are more correlated than others. The results question the common practice of computing average ratings from reviews in many languages.

研究の動機と目的

• 異なる言語のユーザーレビューを、観光スポットの単一の平均評価に意味的に統合できるかどうかを評価すること。
• 異なる言語を話すユーザーが同じロンドンの観光スポットに与える星評価の相関度を調査すること。
• 多言語のeコマースおよびインターフェース設計における、ユーザー経験とレビュー行動の言語的差異が及ぼす影響を評価すること。
• 文化的および言語的要因がレビュー行動にどのように影響を及ぼし、外国語レビューの認識される関連性にどのように関与するかを検討すること。

提案手法

• 2015年7月に、tripadvisor.co.ukから3,040のロンドン観光スポットの516,641件のレビューをクロールした。
• 機械翻訳リンクパラメータを用いてレビューの言語を特定し、Compact Language Detection (CLD) ツールキットを用いて検証した。
• 分析のために、星評価、ユーザーID、レビュー日付、著者所在地を抽出した。
• 異なる言語間の評価の類似性を評価するため、ペアワイズの相関係数を計算した。
• ユーザー行動の分析（多言語レビューの作成、レビュー頻度など）を通じて、ユーザーの活動パターンを評価した。
• 統計的仮説検定（p < 0.001）を用いて、単一言語話者と多言語話者のレビュー活動を比較した。

実験結果

リサーチクエスチョン

• RQ1 異なる言語を話すユーザーが同じロンドンの観光スポットに与える星評価はどの程度類似しているか？
• RQ2 どの言語ペアが最も高く、最も低く相関しているか？
• RQ3 多言語話者が単一言語話者と比べてどの程度レビュー行動で異なるか？
• RQ4 言語ペア間の相関が、意思決定における外国語レビューの有用性にどのように影響するか？

主な発見

• 異なる言語間の評価の相関は一般的に高く、全言語ペアにおける中央値は0.68である。
• ドイツ語、ノルウェー語、フランス語の評価は、他の言語と最も強い相関を示しており、言語間の一貫性が高いためである。
• 日本語、ポルトガル語、ロシア語の評価は最も相関が弱く、他の言語話者にとっての予測的関連性が低いことを示唆している。
• 複数の言語でレビューを書くユーザーはより活発で、平均5.1件のレビューを記録しているのに対し、単一言語話者は平均3.8件（p < 0.001）であった。
• 64％のユーザーが1件のレビューしか書いておらず、1％のユーザーしか複数の言語でレビューを書いていなかったが、多言語話者は全体的により活発であった。
• 相関構造から、あるユーザーの母国語に応じて、特定の言語からの評価が他の言語の評価よりも、ユーザーの潜在的体験をより的確に示している可能性があることが示唆される。