[論文レビュー] SlangSD: Building and Using a Sentiment Dictionary of Slang Words for Short-Text Sentiment Classification

Liang Wu, Fred Morstatter+1 more|arXiv (Cornell University)|Aug 17, 2016

Sentiment Analysis and Opinion Mining参考文献 17被引用数 21

ひとこと要約

本稿では、Urban Dictionaryと既存のセンチメント辞書を活用してスケール的にセンチメント極性を自動推定することで構築された、最初の公開可能なスラング語のセンチメント辞書、SlangSDを紹介する。SentiStrengthセンチメント分析ツールにSlangSDを統合することで、特に短く非公式なテキストにおけるネガティブセンチメントの検出において顕著な性能向上を達成し、実世界の応用における有効性と統合の容易さを示している。

ABSTRACT

Sentiment in social media is increasingly considered as an important resource for customer segmentation, market understanding, and tackling other socio-economic issues. However, sentiment in social media is difficult to measure since user-generated content is usually short and informal. Although many traditional sentiment analysis methods have been proposed, identifying slang sentiment words remains untackled. One of the reasons is that slang sentiment words are not available in existing dictionaries or sentiment lexicons. To this end, we propose to build the first sentiment dictionary of slang words to aid sentiment analysis of social media content. It is laborious and time-consuming to collect and label the sentiment polarity of a comprehensive list of slang words. We present an approach to leverage web resources to construct an extensive Slang Sentiment word Dictionary (SlangSD) that is easy to maintain and extend. SlangSD is publicly available for research purposes. We empirically show the advantages of using SlangSD, the newly-built slang sentiment word dictionary for sentiment classification, and provide examples demonstrating its ease of use with an existing sentiment system.

研究の動機と目的

• 短い非公式なユーザー生成コンテンツ（例：SNS投稿）に広く見られるスラング語を含まないセンチメント辞書の不足に対処すること。
• 手動ラベル付けに依存せずに、スケーラブルで保守可能な方法でスラング語にセンチメント極性を自動割り当てる手法の開発。
• 既存のセンチメント分析システムに簡単に統合可能な、公開可能で拡張可能なスラングセンチメント辞書の作成。
• 実世界の短いテキストデータセットにおけるスラングセンチメント辞書の実用的価値を実証的に検証すること。
• スラング語、特にUrban Dictionaryのような風刺的または非公式なソースからのものこそ、ネガティブセンチメントの識別に特に効果的であることを示すこと。

提案手法

• スラング語やスラング表現の収集に、包括的でコミュニティメンテナンス型の非公式言語データベースであるUrban Dictionaryを主な情報源として活用する。
• 既存のセンチメント辞書（例：SentiStrength、SentiWordNet）およびUrban Dictionaryからの同義語マッピングを用い、類似学習に類似したアプローチでスラング語のセンチメント極性を推定する。
• 規則に基づき文脈に配慮したスコアリング機構を適用し、既知のセンチメント語との共起パターンと文法的類似性を分析することで、センチメント強度を推定する。
• 得られたSlangSD辞書をSentiStrengthセンチメント分析システムに追加の辞書レイヤーとして統合し、デフォルトの語彙リストを置き換えたり補完したりする。
• スラングを含むデータセットにおける性能比較のためのone-vs-all評価プロトコルを用い、ポジティブおよびネガティブセンチメントの精度、再現率、Fスコアを測定する。
• 定期的な更新とコミュニティフィードバックを通じて辞書の保守と拡張を継続し、長期的な関連性とカバー範囲を確保する。

実験結果

リサーチクエスチョン

• RQ1 大規模かつ自動的に構築されたスラングセンチメント辞書は、短く非公式なテキストにおけるセンチメント分類を改善できるか？
• RQ2 伝統的なセンチメント辞書と比較して、SlangSDはスラング語のセンチメント極性検出にどの程度効果的か？
• RQ3 SlangSDの統合は、実世界の短いテキストデータにおける既存のセンチメント分析ツールの性能を顕著に向上させるか？
• RQ4 風刺的または非公式なソース（例：Urban Dictionary）からのスラング語は、ポジティブセンチメントと比較してネガティブセンチメントの検出に特に効果的か？
• RQ5 SlangSDは、モデル再トレーニングを要せず、既存のセンチメント分析パイプラインにどの程度容易に統合できるか？

主な発見

• SlangSDには、割り当てられたセンチメントスコアを持つ96,462語のスラング語と表現が含まれており、同種のものとしては最初の包括的で包括的なスラングセンチメント辞書である。
• SentiStrengthに統合された結果、強化されたモデル（SentiStrength${}_{\text{SSD}}$）はネガティブツイートにおいて91.19%のFスコアを達成し、ベースラインのSentiStrength（71.06%）と比較して顕著な向上を示した。
• SMSメッセージでは、SentiStrength${}_{\text{SSD}}$はポジティブおよびネガティブセンチメントの両タスクで再現率が50%以上向上し、それぞれ75.51%および88.14%に達した。
• 性能向上は特にネガティブセンチメントにおいて顕著であり、SlangSDが非公式なコンテンツに一般的な皮肉や風刺表現の識別に特に効果的であることを示唆している。
• SlangSDの統合には再トレーニングを伴わず、設定変更のみで実現したため、既存のセンチメント分析システムへの即時統合（プラグアンドプレイ）の可能性を示した。
• 結果から、Webベースのスラングリポジトリ（例：Urban Dictionary）を活用し、自動極性推定を組み合わせることで、スケーラブルで高カバレッジのセンチメント辞書構築が可能であり、実証的利点も得られることを確認した。