[論文レビュー] A Dictionary-based Approach to Racism Detection in Dutch Social Media

Stéphan Tulkens, Lisa Hilte+3 more|arXiv (Cornell University)|Aug 31, 2016

Natural Language Processing Techniques参考文献 9被引用数 75

ひとこと要約

本稿では、手作業で作成した語彙とword2vecで拡張した語彙を組み合わせ、サポートベクターマシンを用いてオランダ語のソーシャルメディア投稿における差別の的言語を検出する語彙ベースのアプローチを提示している。最高のモデルは、未観測のテストデータにおいて差別的クラスのFスコアを0.46まで達成したが、自動拡張によって得られた語彙カバレッジの増加にもかかわらず、統計的に有意な性能向上は得られなかった。

ABSTRACT

We present a dictionary-based approach to racism detection in Dutch social media comments, which were retrieved from two public Belgian social media sites likely to attract racist reactions. These comments were labeled as racist or non-racist by multiple annotators. For our approach, three discourse dictionaries were created: first, we created a dictionary by retrieving possibly racist and more neutral terms from the training data, and then augmenting these with more general words to remove some bias. A second dictionary was created through automatic expansion using a exttt{word2vec} model trained on a large corpus of general Dutch text. Finally, a third dictionary was created by manually filtering out incorrect expansions. We trained multiple Support Vector Machines, using the distribution of words over the different categories in the dictionaries as features. The best-performing model used the manually cleaned dictionary and obtained an F-score of 0.46 for the racist class on a test set consisting of unseen Dutch comments, retrieved from the same sites used for the training set. The automated expansion of the dictionary only slightly boosted the model's performance, and this increase in performance was not statistically significant. The fact that the coverage of the expanded dictionaries did increase indicates that the words that were automatically added did occur in the corpus, but were not able to meaningfully impact performance. The dictionaries, code, and the procedure for requesting the corpus are available at: https://github.com/clips/hades

研究の動機と目的

• 公式な通報ルートを経由しないオランダ語ソーシャルメディア投稿における差別的言語を自動検出するシステムの開発。
• word2vec埋め込みを用いて拡張された語彙ベースのアプローチが、オランダ語オンラインコンテンツにおける差別的議論を効果的に分類できるかの検証。
• 自動語彙拡張が分類性能に与える影響、特に手作業で整備された語彙リストとの比較を評価。
• オランダ語ソーシャルメディアにおける差別的言語の言語的兆候、例えば「私達／彼ら」構文、ステレオタイプ、特定のn-gramの同定。
• 将来的な研究や政策的取り組みを支援するため、再利用可能でオープンソースのオランダ語差別的言語検出ツールの開発。

提案手法

• 3種類の議論的語彙辞書を作成した：訓練データに注釈を加えたもの、一般オランダ語テキストで学習したword2vecモデルを用いて拡張したもの、および不要な用語を削除するために手作業でクリーニングしたもの。
• 異なる語彙カテゴリの語分布特徴を入力ベクトルとして用い、サポートベクターマシンを訓練した。
• モデルは、人種、国籍、宗教、文化的背景に関連する否定的一般化や中傷を含む、常識的定義に基づく差別の定義を採用した。
• 性能評価は、同じソーシャルメディアソースから得た未観測のオランダ語コメントのホールドアウトテストセットを用い、精度、再現率、Fスコア、AUCで行った。
• word2vecモデルを用いて、大規模なオランダ語コーパスから意味的に関連する語を自動で語彙に追加することで、初期語彙を拡張した。
• 自動拡張で追加された低品質または不適切な語を手作業でフィルタリングすることで、特徴の関連性を向上させることを目的とした。

実験結果

リサーチクエスチョン

• RQ1 語分布特徴のみを用いた語彙ベースのアプローチが、オランダ語ソーシャルメディア投稿における差別的言語を効果的に検出できるか。
• RQ2 word2vecを用いた手作業語彙の自動拡張が、未観測データにおける分類性能を向上させるか。
• RQ3 「私達／彼ら」構文、ステレオタイプ、特定のn-gramといった言語的兆候が、オランダ語オンラインテキストにおける差別的議論の検出にどの程度寄与するか。
• RQ4 語彙カバレッジが増加しているにもかかわらず、なぜ自動語彙拡張が性能向上をもたらさないのか。
• RQ5 反ムスリムフォーラムに限定されたコンテンツを超えて、モデルの一般化能力はどの程度高いのか。

主な発見

• 手作業でクリーニングした語彙を用いた最良のモデルは、テストセットにおいて差別的クラスのFスコアが0.46に達し、中程度ではあるが意味のある検出能力を示した。
• テストセットでのモデル性能（Fスコア0.46）は、交差検証による訓練データでの性能（Fスコア0.49）よりわずかに低く、過学習または分布シフトの兆候が示された。
• word2vecを用いた自動語彙拡張により語彙カバレッジが100%以上（コーパス全体の0.014%から0.035%）増加したが、Fスコアの向上は有意ではなかった（0.45対0.46）。
• カバレッジの増加が、差別的でないコメントとの区別能力の向上に結びつかなかったことから、追加された語が文脈的に判別不能であったことが示唆された。
• AUCスコアは、語彙のバリエーションに関わらず安定して0.63を維持し、一貫したが強くはないとされる識別的性能を示した。
• 一般化されたスタイル的またはコンテンツベースの語カテゴリーを、差別的語彙リストと組み合わせても、性能向上は得られなかった。