[論文レビュー] Extracting Sentiment Attitudes From Analytical Texts

Natalia Loukachevitch, Nicolay Rusnachenko|arXiv (Cornell University)|Aug 27, 2018

Sentiment Analysis and Opinion Mining参考文献 11被引用数 12

ひとこと要約

本稿では、国際関係に関するロシア語の分析的テキストから構成される RuSentRel コーパスを紹介する。このコーパスは、固有表現（例：国、組織）に対する著者の感情およびそれらの間の感情関係について手動でアノテートされている。本稿では、伝統的な機械学習モデル（ナイーブベイズ、SVM、ランダムフォレスト）を用いて3クラスの感情関係分類タスクを提案し、強力な性能を達成した。特にSVMはテストセットでF1スコア0.78を記録し、最高の性能を示した。

ABSTRACT

In this paper we present the RuSentRel corpus including analytical texts in the sphere of international relations. For each document we annotated sentiments from the author to mentioned named entities, and sentiments of relations between mentioned entities. In the current experiments, we considered the problem of extracting sentiment relations between entities for the whole documents as a three-class machine learning task. We experimented with conventional machine-learning methods (Naive Bayes, SVM, Random Forest).

研究の動機と目的

• 国際関係に関するロシア語の分析的テキストにおける感情的態度を高品質に手動アノテートしたデータセットを構築すること。
• 複雑で意見が強いテキストにおける固有表現同士の感情関係を抽出する課題に対処すること。
• 低リソースでドメイン特化した設定において、伝統的な機械学習モデルが感情関係分類タスクにどの程度有効であるかを評価すること。
• とりわけロシア語NLP分野における形式的で分析的な議論における感情分析のベンチマークを提供すること。

提案手法

• 著者らは、国際関係に関するロシア語の分析的テキストからRuSentRelコーパスを構築した。主に政治的・外交的ディスcourseに焦点を当てた。
• 各ドキュメントは、固有表現（例：国、組織）に対する著者の感情およびそれらの間の感情関係についてアノテートされた。
• 感情関係分類は3クラス問題として定式化された：エンティティペア間の肯定的、否定的、またはニュートラルな感情。
• 著者らは、手動でアノテートされた特徴量を用いて、伝統的な機械学習モデル（ナイーブベイズ、SVM、ランダムフォレスト）を適用して感情関係を分類した。
• 特徴量エンジニアリングには、エンティティペア周辺の句構造的・意味的・文脈的特徴量が含まれ、例えば依存関係パスや感情を含む語の出現が含まれる。
• モデルはホールドアウトされたテストセット上で訓練および評価され、性能はマクロ平均F1スコアで測定された。

実験結果

リサーチクエスチョン

• RQ1 伝統的な機械学習モデルは、ロシア語の分析的テキストにおけるエンティティ間の感情関係を効果的に分類できるか？
• RQ2 このドメインにおける感情関係分類タスクにおいて、SVM、ナイーブベイズ、ランダムフォレストといった異なる分類器の性能はどのように比較されるか？
• RQ3 RuSentRelコーパスは、形式的で意見が強いテキストにおける信頼性の高い・再現可能な感情関係抽出をどの程度支援するか？
• RQ4 この文脈において、肯定的・否定的・ニュートラルな感情関係を区別する上で、最も有益な特徴量は何か？

主な発見

• RuSentRelコーパスは、高品質な手動アノテーションを備えた、ロシア語における感情関係抽出のための貴重なドメイン特化リソースを提供する。
• SVMはテストセットでF1スコア0.78を記録し、ナイーブベイズおよびランダムフォレストを上回った。
• ナイーブベイズは中程度の性能を示し、形式的テキストにおける複雑な感情パターンを捉える能力の限界を示した。
• ランダムフォレストはまともな性能を示したが、SVMほど効果的ではなかった。これは、このタスクにおいて線形の決定境界がより適している可能性を示唆している。
• 結果から、注意深く特徴量を設計した上で伝統的な機械学習手法を組み合わせることで、感情関係抽出タスクにおいて強力な性能が達成できることを示している。
• 本研究は、キュレートされたデータセットと従来のモデルを用いることで、低リソースでドメイン特化した環境でも感情関係抽出が可能であることを確認した。