[論文レビュー] Improving Agreement and Disagreement Identification in Online Discussions with A Socially-Tuned Sentiment Lexicon

Lu Wang, Claire Cardie|arXiv (Cornell University)|Jun 17, 2016

Sentiment Analysis and Opinion Mining参考文献 24被引用数 5

ひとこと要約

本稿では、オンラインディスカッションにおける文単位の賛成・反対検出を向上させるために、社会的に調整されたセンチメントリソースを統合した等調性のある条件付き確率場（CRF）モデルを提案する。一般向けセンチメントリソースからドメイン特化型のリソースをブートストラップし、等調性制約を用いて統合することで、Wikipedia Talkページにおける賛成・反対検出でそれぞれ0.74および0.67の最先端のF1スコアを達成し、線形チェーンCRFおよびSVMベースラインを著しく上回った。

ABSTRACT

We study the problem of agreement and disagreement detection in online discussions. An isotonic Conditional Random Fields (isotonic CRF) based sequential model is proposed to make predictions on sentence- or segment-level. We automatically construct a socially-tuned lexicon that is bootstrapped from existing general-purpose sentiment lexicons to further improve the performance. We evaluate our agreement and disagreement tagging model on two disparate online discussion corpora -- Wikipedia Talk pages and online debates. Our model is shown to outperform the state-of-the-art approaches in both datasets. For example, the isotonic CRF model achieves F1 scores of 0.74 and 0.67 for agreement and disagreement detection, when a linear chain CRF obtains 0.58 and 0.56 for the discussions on Wikipedia Talk pages.

研究の動機と目的

• オンラインディスカッションにおける賛成・反対の検出を改善すること。これは、非形式的で感情的かつ文脈依存的な言語が特徴のため、困難である。
• 一般向けセンチメントリソースが、ユーザ生成コンテンツにおける洗練された社会的相互作用を捉えるのに限界を示す問題に対処すること。
• ドメイン特化型のセンチメント知識を順序付きモデリングに統合する手法を構築すること。
• Wikipedia Talkページやオンラインディベートを含む多様なオンラインディスカッションデータセット上でモデルを評価し、ドメイン間の頑健性を確保すること。
• 等調性制約を用いた文脈に配慮したセンチメント特徴の統合が、標準的なCRFおよびSVMアプローチを上回る性能向上を実現することを示すこと。

提案手法

• オンラインディスカッションの発話単位における順序依存性をモデル化するため、等調性CRFモデルを用い、文単位での賛成・反対・中立の構造的予測を可能にする。
• Wikipedia Talkページのデータ上で、シード語を用いてラベル伝搬を適用することで、一般向けリソースから自動的にドメイン特化型のリソースをブートストラップし、社会的に調整されたセンチメントリソースを構築する。
• モデルパラメータに等調性制約を適用し、リソースからのドメイン知識をエンコードすることで、センチメントスコアが語彙的センチメント強度と単調的に関連することを保証する。
• 語彙的、構文的／意味的、弁論的、会話レベル、および新規リソースから導出されたセンチメント特徴など、複数の特徴タイプを統合する。
• 特徴の重要性はχ²検定を用いて評価し、トピック固有語や緩和表現といった賛成・反対の顕著な指標を同定する。
• 性能評価にはソフトF1スコアと対応したt検定を用い、ベースラインとの差に統計的有意性があることを検証する。

実験結果

リサーチクエスチョン

• RQ1 社会的に調整されたセンチメントリソースを統合した等調性CRFモデルは、オンラインディスカッションにおける賛成・反対検出で、標準的なCRFおよびSVMベースラインを上回ることができるか？
• RQ2 オンラインディスカッションの弁論文脈に特化したブートストラップされたセンチメントリソースは、センチメントタギング性能の向上にどの程度効果的か？
• RQ3 語彙的、構文的、弁論的、およびセンチメント特徴といった異なる特徴タイプは、賛成・反対検出におけるモデル性能にどの程度寄与しているか？
• RQ4 賛成／反対検出における主な誤りパターンは何か。それらはモデル性能を制限する要因となるか？
• RQ5 特に等調性制約を用いた文脈に配慮したセンチメントモデリングは、標準モデルに比べて皮肉や暗黙の反対をより良く捉えることができるか？

主な発見

• 社会的に調整されたリソースを統合した等調性CRFモデルは、Wikipedia Talkページ（AAWD）データセットで賛成検出にF1スコア0.74、反対検出に0.67を達成し、線形チェーンCRF（0.58および0.56）を著しく上回った。
• オンラインディベート（IAC）データセットでは、賛成検出にF1スコア0.61、反対検出に0.78を達成し、ベースラインモデルを一貫して上回った。
• 新規リソースから導出されたセンチメント特徴の追加により、すべてのベースラインで性能向上が見られ、特に等調性CRFが最も顕著な向上を示した。
• 特徴の除去実験では、各特徴セットを順次追加するごとに性能が段階的に向上し、センチメント特徴が最終的なF1スコア向上に大きく寄与した。
• 誤り分析から、皮肉や矛盾例を用いた暗黙の反対が主な課題であることが判明し、語彙的センチメントを超えたより深い意味的理解の必要性が示された。
• χ²検定により、'the male' や 'the scientist' といったトピック固有語が反対の顕著な指標であることが明らかになり、トピックに配慮した特徴が検出精度の向上に寄与することが示唆された。