[論文レビュー] A New Statistical Approach for Comparing Algorithms for Lexicon Based Sentiment Analysis

Mateus Tarcinalli Machado, Evandro Eduardo Seron Ruiz+1 more|arXiv (Cornell University)|Jun 20, 2019

Sentiment Analysis and Opinion Mining参考文献 16被引用数 4

ひとこと要約

本稿は、人間によるアノテート済みゴールドスタンダードに依存せずに、語彙ベースのセンチメント分析アルゴリズムを比較する統計的フレームワークを提案する。マージナル同調性検定および最尤推定を用いた対数線形モデルを用いて、ラベルペアや語彙ごとにアルゴリズムの一致度に顕著な差が生じることを示している。中立対正/負の一致度は、正対負の一致度よりも著しく低い。LIWCは、すべてのラベルペアにおいてOpLex や SentiLex よりも著しく低い一致度を示している。

ABSTRACT

Lexicon based sentiment analysis usually relies on the identification of various words to which a numerical value corresponding to sentiment can be assigned. In principle, classifiers can be obtained from these algorithms by comparison with human annotation, which is considered the gold standard. In practise this is difficult in languages such as Portuguese where there is a paucity of human annotated texts. Thus in order to compare algorithms, a next best step is to directly compare different algorithms with each other without referring to human annotation. In this paper we develop methods for a statistical comparison of algorithms which does not rely on human annotation or on known class labels. We will motivate the use of marginal homogeneity tests, as well as log linear models within the framework of maximum likelihood estimation We will also show how some uncertainties present in lexicon based sentiment analysis may be similar to those which occur in human annotated tweets. We will also show how the variability in the output of different algorithms is lexicon dependent, and quantify this variability in the output within the framework of log linear models.

研究の動機と目的

• リソースが乏しい言語（ポルトガル語など）においては人間によるアノテート済みゴールドスタンダードが不足しているため、それらに依存せずに語彙ベースのセンチメント分析アルゴリズムを比較する統計的手法を開発すること。
• 特に既知のクラスラベルが存在しない状況下で、異なる語彙やラベルペアにおけるアルゴリズム出力のばらつきを定量化すること。
• 観察されたアルゴリズム一致度の差が統計的に有意であるか、それともサンプリングのばらつきによるものかを、厳密な統計的推論を用いて評価すること。
• 人間のアノテーターの比較を機械アルゴリズムに拡張し、中立センチメントを含むラベルペアにおける不一致のパターンが類似していることを示すこと。
• 離散的かつ互いに排他的なラベリングタスクに一般化可能な、アルゴリズムパフォーマンスの評価のためのメソドロジカル基盤を提供すること。

提案手法

• 著者たちは、同じテキストコーパス上で2つのアルゴリズムの出力を比較するためのクロス集計表を用いる。各セルは、特定のラベルペア（例：アルゴリズム1が「n」、アルゴリズム2が「p」）に割り当てられた文の数を表す。
• マージナル同調性検定を適用して、2つのアルゴリズム間のラベル分布に有意な差があるかどうかを評価し、偶然を超えた全体的な一致度を検証する。
• 最尤推定を用いた対数線形モデルを用いて、アルゴリズム出力の同時分布をモデル化し、ラベルペア間のオッズ比を推定する。
• ラベルペア（例：n 対 u、p 対 u、n 対 p）間の一致度の対数オッズ比の95％信頼区間を計算し、一致度の差の統計的有意性を評価する。
• 本手法は、[16]のヒトアノテーターのデータと比較することで妥当性を検証され、ラベルペアの不一致パターンが一貫していることが示された。
• 本手法は、LIWC、OpLex、SentiLex の3つの語彙に対して適用され、語彙選択によるアルゴリズム一致度の変動を評価した。

実験結果

リサーチクエスチョン

• RQ1 2つの語彙ベースのセンチメント分析アルゴリズム間の一致度は、偶然に起因するものよりも有意に高いか？
• RQ2 アルゴリズム間の一致度の程度は、異なるセンチメントラベルペア（例：n 対 p、n 対 u、p 対 u）によってどのように変化するか？
• RQ3 アルゴリズム間の一致度の水準は、使用する語彙の選択に依存するか？
• RQ4 観察されたアルゴリズム一致度の差は統計的に有意であるか、それともサンプリングのばらつきによるものか？
• RQ5 アルゴリズム出力の不一致のパターンは、ヒトアノテーターの不一致のパターンとどの程度類似しているか？

主な発見

• アルゴリズム間の一致度は、n 対 p ペアにおいて、n 対 u や p 対 u ペアよりも顕著に高い。これは、中立センチメントがより曖昧で、識別が難しいことを示している。
• (n,u) および (p,u) ラベルペアにおいて、LIWCと他の2語彙（OpLex、SentiLex）の間で、一致度の対数オッズ比の95％信頼区間が重複しない。これは、一致度に統計的に有意な差があることを示している。
• LIWCの(n,u)および(p,u)ペアにおける一致度の対数オッズ比は、OpLex や SentiLex よりも顕著に低い。これは、LIWCが中立センチメントに対して一貫性の低い出力を生成していることを示唆している。
• 結果から、アルゴリズムの一致度はラベル依存性だけでなく語彙依存性にも依存しており、LIWCはすべてのラベルペアにおいてOpLex や SentiLex よりも一貫して低い一致度を示していることがわかった。
• アルゴリズム間の不一致の統計的パターンは、[16]で観察されたヒトアノテーター間の不一致と非常に類似しており、特に中立関連ペアでの不一致が顕著に高い。
• 本研究は、ゴールドスタンダードラベルが存在しない状況下でも、マージナル同調性検定や対数線形モデルといった統計的手法が、センチメント分析におけるアルゴリズムのばらつきを信頼性高く検出・定量化できることを確認した。