[論文レビュー] 4chan & 8chan embeddings

Pierre Voué, Tom De Smedt+1 more|arXiv (Cornell University)|Apr 2, 2020

Molecular Junctions and Nanostructures被引用数 6

ひとこと要約

本論文では、4chanと8chanの/ pol/ ボードから3000万件を超えるメッセージを学習データとして用いた大規模な単語埋め込みモデルを紹介する。このモデルは、有毒および極端主義的な言語パターンを捉えている。得られた0.4GBの埋め込みモデルは、公開されており、嫌がらせ発見や有毒なディス course 分析に関する研究を支援する。

ABSTRACT

We have collected over 30M messages from the publicly available /pol/ message boards on 4chan and 8chan, and compiled them into a model of toxic language use. The trained word embeddings (0.4GB) are released for free and may be useful for further study on toxic discourse or to boost hate speech detection systems: https://textgain.com/8chan.

研究の動機と目的

• 匿名の画像掲示板フォーラムにおける有毒および極端主義的ディス course を研究するための大規模かつ公開可能なNLPリソースの構築を目的とする。
• 4chanおよび8chanの/ pol/ ボードに特有の言語的パターンをモデル化することを目的とする。これらのボードは、高い毒性と極端な内容で知られている。
• 下流の嫌がらせ発見システムの性能向上に寄与する事前学習済み単語埋め込みモデルを提供することを目的とする。
• データセットと訓練済みモデルを完全に透明性を持って公開することで、オンラインの毒性に関する再現可能かつ信頼性のある研究を可能にすることを目的とする。

提案手法

• 著者らは、公開APIおよびウェブスクレイピングを用いて、4chanおよび8chanの/ pol/ ボードから3000万件を超えるメッセージを収集した。
• テキストはトークン化、小文字化、および非テキスト的コンテンツのフィルタリングによって前処理された。
• 単語埋め込みは、標準的な単語表現学習手法としてのネガティブサンプリングを用いたスキップグラムモデルで学習された。
• このモデルは、実世界の有毒な言語パターンを捉えるために、大規模かつ多様な匿名で、モデレーションのないオンラインディスコースのコーパス上で学習された。
• 最終的な埋め込みモデルは圧縮され、公開利用および再利用を目的として0.4GBのファイルとしてリリースされた。
• データセットとモデルはarXivにホスティングされ、永続的引用を可能にするためDOIによってリンクされている。

実験結果

リサーチクエスチョン

• RQ1 匿名フォーラムからの大規模かつ現実世界の有毒ディスコースを、単語埋め込みを用いて効果的にモデル化する方法は何か？
• RQ2 4chanおよび8chanの/ pol/ ボードに特有の言語的パターンは何か。これらは主流のオンラインディスコースとはどのように異なるか？
• RQ3 / pol/ コンテンツで学習された事前学習済み埋め込みモデルが、嫌がらせ発見システムの性能をどの程度向上できるか？
• RQ4 公開された大規模な有毒オンラインコンテンツデータセットが、NLPおよび計算的社会科学分野における再現可能研究を支援できるか？

主な発見

• 著者らは、4chanおよび8chanの/ pol/ ボードから得た3000万件のメッセージに基づく0.4GBの単語埋め込みモデルを成功裏に訓練・公開した。
• このモデルは、これらの匿名フォーラムに特有の高頻度の有毒および極端主義的言語パターンを捉えている。
• データセットとモデルはarXivを介してDOI付きで公開されており、長期的な再現性と引用が可能である。
• この埋め込みモデルは、特に嫌がらせ発見を目的とした下流のNLPタスクにおいて直接利用可能に設計されている。
• このリリースは、スケールの大きな偏ったディスコースを研究するためのリソースを提供し、オンラインの毒性に関するオープンな研究を支援している。