[論文レビュー] Acquiring Background Knowledge to Improve Moral Value Prediction

Ying Lin, Joe Hoover+3 more|arXiv (Cornell University)|Sep 16, 2017

Hate Speech and Cyberbullying Detection参考文献 26被引用数 3

ひとこと要約

本稿では、エンティティリンキングを介して外部知識ベース（例：Wikipedia）から自動的に背景知識を取得・統合することで、ツイートにおける道徳的価値の予測を向上させる文脈に配慮したフレームワークを提案する。短く文脈に乏しいツイートに意味的に関連する知識特徴を付加することで、モデルは単一の人間アノテーターと同等の性能を達成し、計算的社会科学分野における暗黙の心理的変数予測への動的背景知識の使用は、本研究が初めてである。

ABSTRACT

In this paper, we address the problem of detecting expressions of moral values in tweets using content analysis. This is a particularly challenging problem because moral values are often only implicitly signaled in language, and tweets contain little contextual information due to length constraints. To address these obstacles, we present a novel approach to automatically acquire background knowledge from an external knowledge base to enrich input texts and thus improve moral value prediction. By combining basic text features with background knowledge, our overall context-aware framework achieves performance comparable to a single human annotator. To the best of our knowledge, this is the first attempt to incorporate background knowledge for the prediction of implicit psychological variables in the area of computational social science.

研究の動機と目的

• ツイートのような短く文脈に乏しいソーシャルメディア文書における暗黙の道徳的価値を検出する課題に対処すること。
• 表面的なテクスト特徴以外の外部的背景知識を統合することで、道徳的価値予測の正確性を向上させること。
• Wikipediaなどの外部ソースからの知識取得が、NLPモデルによる暗黙の心理的属性検出をどのように向上させるかを検討すること。
• エンティティリンキングと知識ベース強化を用いた一般化可能な手法として、計算的社会科学アプリケーションへの適用可能性を示すこと。
• 他の暗黙のセンチメントや心理的変数予測タスクにも適応可能なフレームワークを提供すること。

提案手法

• エンティティリンキングを用いてツイート内の固有表現を同定し、Wikipediaエントリにリンクすることで背景知識を取得する。
• リンクされたエンティティから要約文やプロパティを抽出・処理し、5つの道徳基盤（保護/害、正義/不正、忠誠/裏切り、権威/反逆、純粋性/劣化）それぞれと強く相関する用語を特定する。
• 相関する用語を、n-gram やワードエムベッディングなどの標準的なテクスト特徴に加えて、マルチラベル分類モデルの追加的特徴として使用する。
• 品詞タギングと依存構文解析を用いて、エンティティリンキングと特徴抽出の正確性を向上させる。
• 教師あり学習モデルを用いてテクスト特徴と知識由来特徴を統合し、道徳的価値表現を予測する。
• 初期段階では関連するエンティティおよびプロパティタイプの手動選択を実施し、今後の研究では自動特徴選択手法の検討を予定する。

実験結果

リサーチクエスチョン

• RQ1 外部知識ベースからの背景知識は、短いソーシャルメディア文書における暗黙の道徳的価値検出を改善できるか？
• RQ2 エンティティリンキングと知識ベース強化を組み合わせた手法は、テキストのみのモデルに比べて道徳的価値予測の性能をどの程度向上させるか？
• RQ3 エンティティに関する知識（例：ウェストバーゲン・バプティスト・チャーチ）は、道徳的価値推論における曖昧性をどの程度解消できるか？
• RQ4 どの種類の知識特徴（例：エンティティプロパティ、記述）が特定の道徳基盤に対して予測力が高いか？
• RQ5 背景知識の統合は、人間アノテーターとの比較においてモデル性能にどのように影響を与えるか？

主な発見

• 提案されたフレームワークは、ツイートからの道徳的価値予測において、単一の人間アノテーターと同等の性能を達成した。
• 表面的なテクスト特徴に依存するモデルに比べ、背景知識の統合により予測精度が顕著に向上した。
• エンティティリンキングにより、道徳的参照が暗黙的である場合でも、エンティティに関連する道徳的含み（例：「ウェストバーゲン・バプティスト・チャーチ」）をモデルが推論できるようになった。
• Wikipediaの記述およびプロパティから得られる知識特徴の統合により、文脈依存的で繊細な道徳的シグナルの検出能力が向上した。
• 課題が存在するが、本手法は短いテキスト（例：ツイート）における文脈情報の欠如を、外部知識によって効果的に補填できることを示した。
• エンティティの意味あいまいさの解消と知識の関連性に限界が見られ、特に知識ベースが静的または一般化しすぎた事実を含む場合、ツイートの文脈と一致しないことがある。