[論文レビュー] Joint Named Entity Recognition and Stance Detection in Tweets

Dilek Küçük|arXiv (Cornell University)|Jul 30, 2017

Sentiment Analysis and Opinion Mining参考文献 10被引用数 4

ひとこと要約

本稿では、トルコ語のツイートにおいて名前付きエンティティ認識（NER）とスタンス検出を統合的に処理する手法を提案する。拡張されたルールベースのNERシステムを用いてエンティティを抽出し、それをSVMベースのスタンス分類器の追加特徴として活用する。結果として、NERの出力値を統合することでスタンス検出の性能が著しく向上することが示され、特に高品質で手動でアノテートされたエンティティを用いた場合に顕著な向上が見られた。これは、ソーシャルメディアのテキストにおけるスタンス分類の向上に、名前付きエンティティが有効であることを示している。

ABSTRACT

Named entity recognition (NER) is a well-established task of information extraction which has been studied for decades. More recently, studies reporting NER experiments on social media texts have emerged. On the other hand, stance detection is a considerably new research topic usually considered within the scope of sentiment analysis. Stance detection studies are mostly applied to texts of online debates where the stance of the text owner for a particular target, either explicitly or implicitly mentioned in text, is explored. In this study, we investigate the possible contribution of named entities to the stance detection task in tweets. We report the evaluation results of NER experiments as well as that of the subsequent stance detection experiments using named entities, on a publicly-available stance-annotated data set of tweets. Our results indicate that named entities obtained with a high-performance NER system can contribute to stance detection performance on tweets.

研究の動機と目的

• ツイートから抽出された名前付きエンティティが、スタンス検出の性能向上に寄与するかどうかを調査すること。
• SVM分類器を用いた場合に、NERの品質がその後続のスタンス検出に与える影響を評価すること。
• ルールベースのシステムから抽出されたNER出力と、手動でアノテートされた名前付きエンティティを用いたスタンス検出の性能を比較すること。
• unigram、名前付きエンティティ、ハッシュタグの特徴を統合した場合のスタンス検出モデルへの影響を分析すること。
• 異なるスタンスターゲット（例：Target-1 と Target-2）において、名前付きエンティティの貢献度に差が生じるかどうかを評価すること。

提案手法

• 公開済みのトルコ語ツイートデータセット（スタンスラベルでアノテート済み）に、小文字表記やソーシャルメディアで一般的な diacritics を処理できるように修正を加えた拡張されたルールベースのNERシステムを適用した。
• 各ツイートから名前付きエンティティ（人物、場所、組織）を抽出し、unigram 特徴と併せてSVM分類器の追加特徴として使用した。
• SVM分類器を用いてスタンス検出を実施し、2種類の特徴セットを用いた：unigram のみ、および unigram と名前付きエンティティの組み合わせ。
• 第3の特徴セットでは、unigram、名前付きエンティティ、ハッシュタグの特徴を統合し、それらの共同寄与度を評価した。
• 性能評価には、精度、再現率、F-measure を用い、NER出力の結果を手動アノテーションの正解キーと比較した。
• 2つのスポーツクラブに関する700件のバランスの取れたトルコ語ツイートデータセットを用い、各ターゲットに対して（賛成／反対）のスタンスラベルを付与した。

実験結果

リサーチクエスチョン

• RQ1 ツイートから抽出された名前付きエンティティは、スタンス検出システムの性能向上に寄与するか？
• RQ2 NER出力の品質が、スタンス検出の精度にどのように影響するか？
• RQ3 名前付きエンティティの統合は、異なるスタンスターゲット（例：Target-1 と Target-2）において一貫した性能向上をもたらすか？
• RQ4 unigram、名前付きエンティティ、ハッシュタグを特徴として統合した場合の、スタンス検出への総合的効果は何か？
• RQ5 手動アノテートされた名前付きエンティティとNERツールで抽出されたエンティティを用いたスタンス分類において、性能の差が生じるか？

主な発見

• 名前付きエンティティを追加特徴として使用することで、スタンス検出のF-measureは平均して0.5～1.5パーセンテージポイント向上した。特にTarget-2では顕著な向上が観察され、手動アノテートされたエンティティを用いた場合、F-measureが76.6％から79.7％に上昇した。
• 手動アノテートされた名前付きエンティティを用いた場合、NERで抽出されたエンティティを用いた場合よりも一貫して高い性能を示し、平均して1.2～1.5パーセンテージポイントのF-measure向上が確認された。これは、NERの誤りがスタンス検出の性能を低下させることを示している。
• Target-1では、名前付きエンティティの追加によりF-measureがわずかに向上（ハッシュタグを含めた場合、79.8％から80.4％に）した一方、Target-2では性能がわずかに低下（76.6％から75.5％に）した。これは、特徴間の複雑な相互作用が生じている可能性を示唆している。
• 全設定において、FavorクラスのF-measureがAgainstクラスよりも常に高く、ポジティブなスタンスに傾倒するモデルバイアスやクラス不均衡の影響があると考えられる。
• NERシステムは、このデータセットでマクロF-measure76.6％を達成したが、エンティティ認識に著しい誤り（エンティティの漏れや誤分類）が見られた。これは、後続のスタンス検出性能に直接的な影響を及えた。
• 結果から、高品質なNER出力が、効果的な統合的NERとスタンス検出に不可欠であることが確認された。中程度のNER誤りでさえ、名前付きエンティティの統合による利点を減少させる可能性がある。