[論文レビュー] A Piece of My Mind: A Sentiment Analysis Approach for Online Dispute Detection

Lu Wang, Claire Cardie|arXiv (Cornell University)|Jun 17, 2016

Wikis in Education and Collaboration参考文献 14被引用数 10

ひとこと要約

本論文は、Wikipedia Talkページにおけるオンライン紛争を検出するためのセンチメント分析アプローチを提案している。文単位のセンチメント（例：否定的、ニュートラル、肯定的）の系列を、紛争分類モデルの特徴としてモデル化する。新たに作成された7,218件の議論から成るコーパスを用い、センチメントタギングに等方性条件付きランダムフィールド（isotonic CRFs）を適用し、RBFカーネルを用いたSVMを適用した結果、F1スコア0.78、正解率0.80を達成した。これは、センチメントダイナミクスがベースライン手法に比べて紛争検出性能を顕著に向上させることを示している。

ABSTRACT

We investigate the novel task of online dispute detection and propose a sentiment analysis solution to the problem: we aim to identify the sequence of sentence-level sentiments expressed during a discussion and to use them as features in a classifier that predicts the DISPUTE/NON-DISPUTE label for the discussion as a whole. We evaluate dispute detection approaches on a newly created corpus of Wikipedia Talk page disputes and find that classifiers that rely on our sentiment tagging features outperform those that do not. The best model achieves a very promising F1 score of 0.78 and an accuracy of 0.80.

研究の動機と目的

• 共同作業環境における自動オンライン紛争検出のための、文単位のセンチメント系列を特徴量として用いる可能性を調査すること。
• 諷刺や文脈依存的表現が一般的な非公式で動的なオンライン議論において、文単位のセンチメントタギングを効果的に行うための堅牢な手法を開発すること。
• 紛争の有無をラベル付けした、大規模かつ人手でアノテートされたWikipedia Talkページ議論コーパスを構築し、公開すること。
• 紛争検出性能に、センチメントのダイナミクス（例：センチメントの遷移や議論の各段階における分布）が寄与するかどうかを評価すること。
• 特に諷刺や間接的な対立を含む状況において、議論構造や言語的手がかりが紛争検出に与える影響を調査すること。

提案手法

• 著者らは、非公式で会話的なテキストにおける性能向上を図るため、センチメントリソース制約を組み込んだ等方性条件付きランダムフィールド（CRFs）に基づく新しいセンチメントタギングモデルを導入した。
• モデルは、議論内の各文に対して、5つのセンチメントクラス（非常に否定的、否定的、ニュートラル、肯定的、非常に肯定的）を予測し、会話の感情的推移を捉える。
• 各議論を3つの等分された段階に分割し、センチメント分布および遷移特徴を抽出することで、時間的センチメントダイナミクスをモデル化した。
• 語彙的特徴、トピック特徴、議論構造特徴、およびセンチメント特徴を組み合わせ、ロジスティック回帰および線形およびRBFカーネルを用いたSVM分類器を用いて評価した。
• センチメント特徴は、文単位のセンチメント予測の系列から得られ、紛争検出分類器の入力として使用された。
• 標準化された特徴正規化を伴う5分割交差検証を実施し、精度、再現率、F1、正解率を用いて性能を評価した。

実験結果

リサーチクエスチョン

• RQ1 Wikipedia Talkページの議論において、文単位のセンチメント系列は、紛争の有無を効果的に予測できるか？
• RQ2 センチメントのダイナミクス（例：ニュートラルから否定的へのシフト、持続的な否定的傾向）は、紛争の有無とどのように相関するか？
• RQ3 トピックや議論構造といった従来の特徴と比較して、センチメント特徴は紛争検出性能をどの程度向上させるか？
• RQ4 諷刺や間接的な表現といったディス course レベルの現象は、センチメントタギングおよびその結果としての紛争検出にどのように影響するか？
• RQ5 諷刺や文脈依存的表現が一般的な非公式なオンライン会話において、等方性CRFsはセンチメントを効果的にモデル化できるか？

主な発見

• 最も性能の優れたモデルは、トピック、議論構造、センチメント特徴を組み合わせたRBFカーネルを用いたSVMであり、F1スコア0.78、正解率0.80を達成し、ベースラインを顕著に上回った。
• センチメント特徴のみを含めた場合でも正解率は71.60%に向上し、トピックおよび議論構造特徴と組み合わせた場合、正解率は80.00%に達した。
• F1スコアが最大（0.78）となったのは、グローバルおよびローカルセンチメント特徴（Senti g+l）をトピックおよび議論構造特徴と組み合わせた場合であった。
• センチメントフローの可視化から、解決されていない紛争では持続的な否定的センチメントが観察された一方、解決済みの紛争では解決段階で肯定的またはニュートラルなセンチメントにシフトする傾向が見られた。
• 誤差分析から、特に諷刺や比喩的表現によるセンチメント予測の誤りが、紛争検出における誤分類の主な要因であることが明らかになった。
• 解決済みの紛争の再現率が最も高く（0.86）、論争やRFCの議論ではわずかに低い再現率（0.78および0.79）を示した。これは、構造的差が検出可能性に影響を及ぼしていることを示している。