[論文レビュー] Using Argument-based Features to Predict and Analyse Review Helpfulness

Haijing Liu, Yang Gao+5 more|arXiv (Cornell University)|Jul 23, 2017

Sentiment Analysis and Opinion Mining参考文献 18被引用数 5

ひとこと要約

本稿では、議論的文の割合や根拠-結論の比率といった議論に基づく特徴量を提案し、役立つ製品レビューの特定を改善する。110件のホテルレビューに手作業でアノテートされた議論構造を用いて、著者らは、これらの特徴量を最先端のベースラインと組み合わせることで、平均でF1スコアが11.01%向上することを示し、議論的視点からレビューの役立つ性質を捉える上で、それらの有効性と相乗効果を実証した。

ABSTRACT

We study the helpful product reviews identification problem in this paper. We observe that the evidence-conclusion discourse relations, also known as arguments, often appear in product reviews, and we hypothesise that some argument-based features, e.g. the percentage of argumentative sentences, the evidences-conclusions ratios, are good indicators of helpful reviews. To validate this hypothesis, we manually annotate arguments in 110 hotel reviews, and investigate the effectiveness of several combinations of argument-based features. Experiments suggest that, when being used together with the argument-based features, the state-of-the-art baseline features can enjoy a performance boost (in terms of F1) of 11.01\% in average.

研究の動機と目的

• 議論に基づく特徴量が、役立つ製品レビューの特定を改善できるかどうかを調査すること。
• 議論的構造を110件のホテルレビューに手作業でアノテートし、議論に基づく特徴量分析のためのゴールドスタンダードデータセットを構築すること。
• 役立つ性質予測における議論に基づく特徴量の有効性を、既存の内在的特徴および外部特徴と比較して評価すること。
• 最も情報量の多い議論に基づく特徴量を分析することで、レビューがなぜ役立つとされるのかという解釈的インサイトを提供すること。
• 今後のスケーラブルな役立つ性質検出のため、自動抽出された議論を活用する可能性を検討すること。

提案手法

• 議論的構成要素を7つのカテゴリに分類したスキーム（主要主張、主張、根拠、暗黙の主張を支持する根拠（PSIC）、背景、推奨、非議論的）を用いて、110件のホテルレビューを手作業でアノテートした。
• 3つの粒度で議論に基づく特徴量を計算した：トークンレベル（例：構成要素間のトークン数比）、文字レベル（例：文字数比）、位置レベル（例：構成要素の順序と分布）。
• 議論に基づく特徴量を4つの最先端のベースライン特徴セット（UGR、STR、GALC、INQUIRER）と組み合わせた。
• F1スコアとAUCを用いて性能を評価し、有意性の検定にはペアドt検定を用いた。
• 情報ゲイン順位付けを用いて、役立つ性質予測に最も効果的な議論に基づく特徴量を特定した。
• アノテーター間整合性を評価するためにFleissのKappaを用い、高いアノテーション品質（kappa > 0.6）を確認した。

実験結果

リサーチクエスチョン

• RQ1 議論に基づく特徴量は、既存の最先端特徴量を超えて、役立つレビュー検出の性能を向上させることができるか？
• RQ2 どの特定の議論に基づく特徴量が、役立つレビューの特定に最も寄与しているか？
• RQ3 議論の構造や長さ（例：根拠の数、構成要素の順序）は、レビューの役立つ性質とどのように関係しているか？
• RQ4 議論に基づく特徴量は、他の内在的または外部特徴量が捉えていない情報をどの程度補完的に提供するか？
• RQ5 特徴量の粒度（トークン、文字、位置、構成要素レベル）は、その予測力にどのように影響するか？

主な発見

• 議論に基づく特徴量を最先端のベースラインと組み合わせることで、F1スコアは平均で11.01%向上し、AUCは10.40%向上した。
• トークンレベルと文字レベルの議論特徴量が、役立つ性質予測に最も貢献し、それぞれ36%および29%の情報量が多い特徴量を占めており、レビューの長さと構造が重要な指標であることが示された。
• 構成要素間のトークン数および文字数比（例：根拠-主張比）が最も情報量が多く、バランスの取れた詳細な議論が役立つ性質を高める要因であると考えられる。
• 位置レベルの特徴量は、構成要素の順序や流れを捉えるもので、最も情報量の多い特徴量の25%を占めており、論理的な構造が役立つと感じられる要因として重要な役割を果たしていることが示された。
• 構成要素レベルの特徴量は、最も情報量の多い特徴量のうち10%しか占めず、より細かい粒度の特徴量に比べて識別力が低いことが示された。
• 議論に基づく特徴量は、STR、GALC、INQUIRERと比較して単独でも優れた性能を示し、UGRに次いで性能が高く、高次元性とスパarsityの問題を抱えるUGRですら、議論に基づく特徴量が上回った。