[論文レビュー] Thumbs Up or Thumbs Down? Semantic Orientation Applied to Unsupervised Classification of Reviews

Peter D. Turney|ArXiv.org|Dec 11, 2002

Sentiment Analysis and Opinion Mining参考文献 9被引用数 1,580

ひとこと要約

この論文は、レビュー文の形容詞および副詞の意味的傾向に基づいて、製品レビューを肯定的または否定的であると分類する非教師ありアルゴリズムを紹介する。意味的傾向は、フレーズと語『excellent』および『poor』との相互情報量を用いて計算され、4つのドメイン（自動車、銀行、映画、旅行先）における410件のレビューで平均74%の正確度を達成しており、映画では66%、自動車では84%の範囲で性能を示した。

ABSTRACT

This paper presents a simple unsupervised learning algorithm for classifying reviews as recommended (thumbs up) or not recommended (thumbs down). The classification of a review is predicted by the average semantic orientation of the phrases in the review that contain adjectives or adverbs. A phrase has a positive semantic orientation when it has good associations (e.g., "subtle nuances") and a negative semantic orientation when it has bad associations (e.g., "very cavalier"). In this paper, the semantic orientation of a phrase is calculated as the mutual information between the given phrase and the word "excellent" minus the mutual information between the given phrase and the word "poor". A review is classified as recommended if the average semantic orientation of its phrases is positive. The algorithm achieves an average accuracy of 74% when evaluated on 410 reviews from Epinions, sampled from four different domains (reviews of automobiles, banks, movies, and travel destinations). The accuracy ranges from 84% for automobile reviews to 66% for movie reviews.

研究の動機と目的

• ラベルなし学習データを用いずに、推薦（アゲー）または非推薦（ナゲー）のレビューを分類する非教師あり手法を開発すること。
• 『excellent』および『poor』を極性のアンカーとして用い、語の関連性に基づいてフレーズの意味的傾向を特定すること。
• 自動車、銀行、映画、旅行先など多様なドメインにおいて、意味的傾向がレビューの感情を予測するのにどの程度有効であるかを評価すること。
• フレーズと極性アンカー語との間の相互情報量が、信頼性のある非教師あり感情スコアとして機能できることを示すこと。
• 手動でのアノテーションを避け、分布的意味統計のみを用いて高い分類正確度を達成すること。

提案手法

• フレーズの意味的傾向は、『excellent』との相互情報量と『poor』との相互情報量の差として計算される。
• アルゴリズムはレビュー文の形容詞および副詞を抽出し、大規模コーパスにおける共起統計を用いてそれらの意味的傾向を計算する。
• フレーズの平均意味的傾向が肯定的であれば、レビューは肯定的と分類される。
• 相互情報量は、フレーズと極性アンカー語『excellent』および『poor』との関連性の尺度として用いられる。
• この手法は、ラベル付き感情データを一切必要とせず、大規模テキストコーパスからの分布的統計に依存する。
• 本手法は、4つのドメイン（自動車、銀行、映画、旅行先）にまたがるEpinionsの410件のレビューに適用された。

実験結果

リサーチクエスチョン

• RQ1 『excellent』および『poor』との共起統計から導かれる意味的傾向は、ラベルなしデータを用いてもレビュー感情を効果的に分類できるか？
• RQ2 多様なドメインにまたがるレビューにおいて、非教師あり意味的傾向手法の正確度はどの程度か？
• RQ3 映画と自動車といった異なるレビュー分野において、本手法の性能に顕著な差が生じるか？
• RQ4 フレーズと極性アンカー語との間の相互情報量が、感情の代理としてどの程度有効に機能するか？
• RQ5 単純な非教師ありアルゴリズムが、最小限の語彙リソースのみを用いても高い正確度の感情分類を達成できるか？

主な発見

• アルゴリズムはEpinionsの410件のレビューにおいて平均74%の正確度を達成し、ラベルなし学習データなしで優れた性能を示した。
• 最高の正確度は自動車レビューで84%であり、明確な評価語を含む製品カテゴリでは特に高い分野特異的性能を示した。
• 最低の正確度は映画レビューで66%であり、より主観的またはニュアンスの複雑なドメインでは感情検出に課題があることを示唆した。
• 本手法は、『excellent』および『poor』をアンカーとして用いることで、相互情報量を介した分布的意味統計を活用し、感情極性を推定した。
• 共起性に基づく意味的傾向が、極性語との関連性を用いて効果的な非教師あり感情分類器として機能できることを確認した。
• 本手法は、最小限の語彙リソースでのみ相互情報量の統計的関連性を用いることで、非教師あり感情分類が可能であることを示した。