[論文レビュー] Detecting state of aggression in sentences using CNN

Rodmonga Potapova, Denis Gordeev|arXiv (Cornell University)|Apr 22, 2016

Hate Speech and Cyberbullying Detection参考文献 12被引用数 5

ひとこと要約

本稿では、映像板のメッセージおよび映画レビューのコーパスを用いて、文における言語的攻撃性を検出するためのCNNベースの手法を提案し、ランダムフォレスト分類器と比較している。CNNはセンチメント分析において優れた性能を示し、81.1%の正解率を達成したが、英語の攻撃性検出においてはランダムフォレストがより高い正解率（88.4%）を示した。これは、低リソースで攻撃的言語が特徴的な文脈において、深層学習よりも特徴工学のほうが効果的である可能性を示唆している。

ABSTRACT

In this article we study verbal expression of aggression and its detection using machine learning and neural networks methods. We test our results using our corpora of messages from anonymous imageboards. We also compare Random forest classifier with convolutional neural network for "Movie reviews with one sentence per review" corpus.

研究の動機と目的

• 深層学習モデル、特にCNNが書かれたテキストにおける言語的攻撃性検出にどの程度有効であるかを調査すること。
• 低リソースで非公式な言語文脈における攻撃性検出において、CNNベースのモデルと従来の機械学習（ランダムフォレスト）を比較すること。
• 事前学習済み単語埋め込みと、品詞タグのような言語的特徴が攻撃性検出性能に与える影響を評価すること。
• 語彙の多様性や文構造といったコーパスの特性がモデル性能に与える影響を分析すること。
• 手作業で特徴を設計した単純なモデルが、複雑な深層学習アーキテクチャを上回る可能性があるかどうかを特定すること。

提案手法

• Kim（2014）のモデルを参考にしたCNN-non-staticモデルを用い、Google Newsベクトルの代わりに4chanおよび2ch.hkのスレッドから学習したword2vec埋め込みを用いた。
• word2vecベースの特徴として、攻撃的語句の集合に対して文の埋め込みの合計、平均、最大値と最小値の差、および長さを計算した。
• 品詞（POS）タグを言語的特徴として用い、別個のニューラルネットワークで処理した後、CNNと統合して最終予測を行った。
• モデルは90%のデータで学習し、10%で評価したが、別個のテストセットは用意せず、英語およびロシア語の映像板メッセージコーパスを用いた。
• CNNとPOSタグ特徴を組み合わせたハイブリッドアーキテクチャも検証したが、CNN単体の性能を顕著に上回ることはなかった。
• ランダムフォレストは、手動で選択した攻撃的語彙リストと、word2vec距離、文の長さ、POSパターンから導出された特徴を用いて学習した。

実験結果

リサーチクエスチョン

• RQ1 従来の機械学習手法と比較して、CNNベースのモデルは非公式かつ匿名のオンラインメッセージにおける言語的攻撃性を効果的に検出できるか？
• RQ2 映像板データで学習したドメイン特化型word2vec埋め込みを用いることで、汎用的埋め込みよりも攻撃性検出性能が向上するか？
• RQ3 品詞タグのような言語的特徴が、深層学習モデルの攻撃性検出性能にどの程度寄与するか？
• RQ4 CNNがセンチメント分析タスクで成功を収めているにもかかわらず、なぜ攻撃性検出ではランダムフォレストが優れているのか？
• RQ5 低リソースな攻撃的言語文脈において、手作業で特徴を設計した単純なモデルが、より複雑な深層学習モデルを上回る可能性があるか？

主な発見

• 英語の映像板攻撃性コーパスにおいて、ランダムフォレストは88.4%の正解率を達成し、CNN-non-staticモデル（81.39%）およびCNN-randモデル（81.17%）を顕著に上回った。
• 映画レビューコーパスでは、CNN-non-staticモデルが81.1%の正解率を示し、ランダムフォレストモデル（58.39%）を上回った。これは標準的なセンチメント分析タスクにおける優れた性能を示している。
• ロシア語の攻撃性コーパスでは、CNNモデルがランダムフォレスト（66.68% 対 59.13%）を上回った。これは、モデルの有効性に言語特有の差が存在することを示唆している。
• POSタグをCNNモデルに組み込んだ場合、性能の向上は顕著ではなく、統合モデルは英語攻撃性コーパスで81.22%の正解率にとどまった。
• 本研究は、KimのCNNモデルが性能を損なわずに簡略化可能であることを確認した。これは、特徴学習がモデルの複雑さよりも重要であるという考えを支持する。
• 手作業で特徴を設計し、語彙リストを手動で選択した結果、攻撃性検出において優れた性能を示した。これは、低リソースで攻撃的言語が特徴的な文脈において、エンドツーエンドの深層学習よりもドメイン特化型の特徴工学が有効である可能性を示している。