[論文レビュー] Seeing stars: Exploiting class relationships for sentiment categorization with respect to rating scales

Bo Pang, Lillian Lee|ArXiv.org|Jun 17, 2005

Sentiment Analysis and Opinion Mining参考文献 22被引用数 726

ひとこと要約

この論文は、スコアの類似性（例：3つ星が1つ星よりも4つ星に近い）を明示的にモデル化し、肯定文の割合に基づく新しいアイテム類似度測度を組み込むことで、複数ポイント評価スケール（例：1〜5つ星）におけるセンチメント分類を改善するメトリックラベル化メタアルゴリズムを提案する。この手法は、標準のSVMベースの多クラス分類および回帰的手法よりも顕著に優れており、特にこの特化された類似度測度を組み合わせた場合に顕著である。

ABSTRACT

We address the rating-inference problem, wherein rather than simply decide whether a review is "thumbs up" or "thumbs down", as in previous sentiment analysis work, one must determine an author's evaluation with respect to a multi-point scale (e.g., one to five "stars"). This task represents an interesting twist on standard multi-class text categorization because there are several different degrees of similarity between class labels; for example, "three stars" is intuitively closer to "four stars" than to "one star". We first evaluate human performance at the task. Then, we apply a meta-algorithm, based on a metric labeling formulation of the problem, that alters a given n-ary classifier's output in an explicit attempt to ensure that similar items receive similar labels. We show that the meta-algorithm can provide significant improvements over both multi-class and regression versions of SVMs when we employ a novel similarity measure appropriate to the problem.

研究の動機と目的

• テキストから数値的評価（例：1〜5つ星）を予測する、すなわち単なるバイナリセンチメントではなく、レーティング推論問題に対処すること。
• 人間が同じ著者の作品についての評価スコアのわずかな差（例：1つ星 vs. 2つ星）を信頼性を持って区別できるかを検証し、タスクの妥当性を裏付けること。
• 評価ラベル間の順序関係（例：スケール上の近接性）を明示的にモデル化することで、多クラスセンチメント分類を改善すること。
• 類似したアイテムに類似したラベルが割り当てられるようにするよう、ベース分類器の出力を変更するメタアルゴリズムを開発・評価すること。この際、ラベルおよびアイテムの類似性を活用する。
• このタスクにおける異なるアルゴリズム的アプローチ（1対多、回帰、メトリックラベル化）の有効性を検討すること。

提案手法

• 論文は、ラベル類似性が距離尺度（例：|3−4| < |3−1|）で符号化されるメトリックラベル化問題としてレーティング推論タスクを定式化する。
• グラフベース最適化を用いて、類似したアイテムに類似したラベルが割り当てられるように、ベース分類器（例：SVM）の出力を再割り当てするメタアルゴリズムを適用する。
• レビュー内の肯定文の割合に基づく、新しいアイテム類似度測度を提案し、レビュー間の意味的類似性を捉える。
• 性能は5つ星スケールでの正答率で測定され、教師ありおよび半教師ありの設定で評価される。
• 標準の多クラスSVM、回帰SVM、1対多SVMと比較され、新しい類似度測度を組み合わせたメトリックラベル化フレームワークが優れた結果を示した。
• 適切なラベル距離尺度を定義することで、感情タイプ、読解レベル、緊急度分類など、他の順序分類タスクへも拡張可能である。

実験結果

リサーチクエスチョン

• RQ1 同じ著者の作品をレビューする際、人間のアノテーターは、評価スコアの差が3ノッチ以上ある場合に、1つ星と2つ星の差を信頼性を持って区別できるか？
• RQ2 ラベル類似性（例：3つ星は1つ星よりも4つ星に近い）を明示的にモデル化することで、スコアスケールにおけるセンチメント分類の性能が向上するか？
• RQ3 肯定文の割合に基づく新しいアイテム類似度測度は、メトリックラベル化ベースの分類器の性能を向上させることができるか？
• RQ4 メトリックラベル化メタアルゴリズムは、標準の多クラスおよび回帰的手法に比べて、レーティング推論タスクにおける正答率で優れているか？
• RQ5 メトリックラベル化フレームワークは、センチメントレーティングを越えて、感情タイプ、読解レベル、緊急度など、他の順序分類問題へ一般化可能か？

主な発見

• 被験者は、スコア差が3ノッチ以上あるレビュー対について、100％の正答率を達成し、細分化されたレーティング推論の妥当性を裏付けた。
• 1対多（OVA）SVMベースラインは5クラスレーティングタスクで65.4％の正答率を示したが、肯定文割合（PSP）類似度測度を組み込んだメトリックラベル化アプローチにより66.3％まで向上した。
• 回帰ベースの手法は61.4％の正答率を示し、OVAアプローチを下回ったが、PSPを組み込んだメトリックラベル化フレームワークにより61.5％まで向上した。
• 新しいPSP類似度測度を組み合わせたメトリックラベル化メタアルゴリズムは、標準の多クラスおよび回帰SVMに対して顕著に性能を向上させた。
• ラベルキャリブレーションが著者ごとに変動しても、この手法は頑健であることが示され、異なるレーティングスケールへの一般化可能性を示唆した。
• 適切なラベル距離尺度を定義することで、感情タイプ、読解レベル、緊急度分類など、他の順序分類タスクへも拡張可能である。