[論文レビュー] Language-Independent Sentiment Analysis Using Subjectivity and Positional Information

Veselin Raychev, Preslav Nakov|arXiv (Cornell University)|Nov 28, 2019

Sentiment Analysis and Opinion Mining参考文献 8被引用数 21

ひとこと要約

本稿では、語とビグランの位置重み付けと主観性推定を組み合わせることで、感情極性分類を向上させる言語に依存しない感情分析手法を提案する。マルチノミアル・ナイーブベイズ分類器を用い、標準的な映画レビュー・データセットで89.85%の正答率を達成しており、外部の言語資源や解析器を用いない最高水準の言語に依存しない結果を凌駕する。

ABSTRACT

We describe a novel language-independent approach to the task of determining the polarity, positive or negative, of the author's opinion on a specific topic in natural language text. In particular, weights are assigned to attributes, individual words or word bi-grams, based on their position and on their likelihood of being subjective. The subjectivity of each attribute is estimated in a two-step process, where first the probability of being subjective is calculated for each sentence containing the attribute, and then these probabilities are used to alter the attribute's weights for polarity classification. The evaluation results on a standard dataset of movie reviews shows 89.85% classification accuracy, which rivals the best previously published results for this dataset for systems that use no additional linguistic information nor external resources.

研究の動機と目的

• 外部の言語資源（解析器、品詞タガー、ステミングツールなど）に依存しない言語に依存しない感情極性分類システムの開発。
• 個々の語およびビグランの位置情報と主観性確率を組み込むことで、感情分類の正答率を向上させること。
• 言語固有の言語処理ツールを必要としない主観性推定を用いた特徴量の重み付けの有効性を評価すること。
• 主観性と位置情報を組み合わせた言語に依存しない特徴量が、言語解析を用いたより複雑なシステムと同等またはそれを上回る結果を達成できることを示すこと。
• 主観性スコアを用いて特徴量の重み付けや文レベルの優先順位を最適化する可能性を検討すること。

提案手法

• 本手法は、語の位置と推定された主観性確率から得られる特徴量重みを用いたマルチノミアル・ナイーブベイズ分類器を採用する。
• 主観性確率は2段階で計算される：まず、別個の主観性データセットを用いて文単位の主観性の程度を推定する。次に、これらの確率を特徴量重みの調整に用いる。
• 特徴量重みは位置に依存し、文内でより中心的または目立つ位置にある語やビグランに高い重みが割り当てられる。
• 本手法は0+q重み付け方式を採用し、qが位置の影響を制御する。q=1が最適な性能を示した。
• 主観性データセットを用いて客観的な文をフィルタリングし、残りの文を主観性確率の高い順に再ソートすることで、特徴量の関連性を向上させる。
• 品詞タギング、依存構文解析、ステミングを一切使用せず、言語の独立性を保持する。

実験結果

リサーチクエスチョン

• RQ1 言語解析を一切用いずに、位置情報と主観性情報のみを用いて感情分類の正答率を向上させることは可能か？
• RQ2 特徴量重み付けに主観性確率を組み込むと、感情極性分類の性能にどのような影響を与えるか？
• RQ3 文を主観性スコアの高い順にソートすることで、元の文の順序を用いた場合と比較して分類性能が向上するか？
• RQ4 外部の言語資源（解析器や品詞タガーなど）を一切使用しない言語に依存しないモデルが、競争力のある正答率を達成できるか？
• RQ5 ユニグラムとビグランを位置および主観性に基づく特徴量重み付けと組み合わせることで、分類性能にどのような影響を与えるか？

主な発見

• 提案手法は、標準的な映画レビュー・データセットで89.85%の正答率を達成しており、これは統計的に有意であり、これまでに発表された最高水準の言語に依存しない結果と同等である。
• 主観性や位置の重み付けを一切考慮しないベースライン手法では85.59%の正答率であったが、位置に依存する重み付けを適用した場合、87.81%に向上し、これは統計的に有意な改善である。
• 主観性データセットを用いて文を主観性確率の高い順にソートした場合、89.38%の正答率を達成したが、これはベースラインと比較して統計的に有意な向上とは言えない。
• ユニグラム、ビグラン、位置に依存する重み付けに加え、主観性に基づく特徴量重み付けを組み合わせた場合に、最高の正答率89.85%が達成された。
• 本手法は、これまでに報告された最高水準の言語に依存しない結果を上回っており、一部の言語解析を用いたシステム（MatsumotoらがSVMを用いてユニグラムとビグランで達成した88.1%の正答率）でさえも上回っている。
• 最高結果（89.85%）の95%ウィルソン信頼区間は[88.45%, 91.10%]であり、これは過去の言語に依存しないアプローチよりも統計的に有意に高いことを確認している。