[論文レビュー] Multimodal Hate Speech Detection from Bengali Memes and Texts

Md Rezaul Karim, Sumon Kanti Dey+3 more|arXiv (Cornell University)|Apr 19, 2022

Hate Speech and Cyberbullying Detection被引用数 6

ひとこと要約

本論文は、テキストおよびMemeからの視覚的情報を用いて、リソースが乏しいベンガル語向けにマルチモーダルな嫌がらせ検出フレームワークを提案する。本研究では、ベンガル語用の最初のマルチモーダルな嫌がらせ検出データセットを構築し、XLM-RoBERTaとDenseNet-161を用いた統合手法を採用。F1スコア0.83を達成し、単一モダリティのモデルを上回る性能を示した。テキストモダリティが最も効果的であり、Memeは中程度の有用性を示した。

ABSTRACT

Numerous machine learning (ML) and deep learning (DL)-based approaches have been proposed to utilize textual data from social media for anti-social behavior analysis like cyberbullying, fake news detection, and identification of hate speech mainly for highly-resourced languages such as English. However, despite having a lot of diversity and millions of native speakers, some languages like Bengali are under-resourced, which is due to a lack of computational resources for natural language processing (NLP). Similar to other languages, Bengali social media contents also include images along with texts (e.g., multimodal memes are posted by embedding short texts into images on Facebook). Therefore, only the textual data is not enough to judge them since images might give extra context to make a proper judgement. This paper is about hate speech detection from multimodal Bengali memes and texts. We prepared the only multimodal hate speech dataset for-a-kind of problem for Bengali, which we use to train state-of-the-art neural architectures (e.g., Bi-LSTM/Conv-LSTM with word embeddings, ConvNets + pre-trained language models, e.g., monolingual Bangla BERT, multilingual BERT-cased/uncased, and XLM-RoBERTa) to jointly analyze textual and visual information for hate speech detection. Conv-LSTM and XLM-RoBERTa models performed best for texts, yielding F1 scores of 0.78 and 0.82, respectively. As of memes, ResNet-152 and DenseNet-161 models yield F1 scores of 0.78 and 0.79, respectively. As for multimodal fusion, XLM-RoBERTa + DenseNet-161 performed the best, yielding an F1 score of 0.83. Our study suggests that text modality is most useful for hate speech detection, while memes are moderately useful.

研究の動機と目的

• リソースが乏しいベンガル語における嫌がらせ検出のための計算リソースおよびアノテート済みデータセットの不足に対処すること。
• ベンガル語のMemeおよびテキストからのテキスト的および視覚的情報を共同で分析するマルチモーダルフレームワークを構築すること。
• 低リソース環境における嫌がらせ検出において、さまざまなディープラーニングアーキテクチャおよび事前学習済み言語モデルの有効性を評価すること。
• NLP研究の進展を促進するため、データセット、モデル、コードを含むオープンソースの計算リソースを提供すること。

提案手法

• SNSのMemeから抽出したアノテート済みのテキストおよび画像を含む、ベンガル語用の最初のマルチモーダルな嫌がらせ検出データセットを構築した。
• 特徴抽出に、Bi-LSTM、Conv-LSTM、およびResNet-152、DenseNet-161、EfficientNet-B7などのビジョンモデルを含む深層ニューラルネットワークを採用した。
• 文脈的なテキスト表現のため、単言語および多言語トランスフォーマー・モデル（Bangla BERT、mBERT-cased/uncased、XLM-RoBERTa）を統合した。
• NLPおよびコンピュータビジョンモデルからの埋め込みを統合する、ラテント統合戦略を用いてテキスト的および視覚的情報を統合した。
• F1スコア、精度、再現率、およびマシューヘアーモニーコefficient（MCC）という標準的なNLP指標を用いて、モデルを訓練および評価した。
• 後処理解釈技術を用いてモデルの意思決定を分析したが、モデルの説明可能性は依然として限界を示している。

実験結果

リサーチクエスチョン

• RQ1 低リソース言語としてのベンガル語における嫌がらせ検出において、テキスト中心の単一モダリティ手法と比較して、マルチモーダル手法はどの程度効果的か？
• RQ2 XLM-RoBERTa、mBERT、Bangla BERTなどの事前学習済み言語モデルの中で、ベンガル語嫌がらせ検出において最も優れた性能を示すのはどれか？
• RQ3 ベンガル語のMemeにおける嫌がらせ検出において、テキスト的モダリティと視覚的モダリティの相対的寄与度はどの程度か？
• RQ4 テキストと画像の共同分析は、単一モダリティのベースラインを上回る検出性能を向上させられるか？
• RQ5 Conv-LSTM、DenseNet-161などの異なるディープラーニングアーキテクチャは、嫌がらせ検出におけるテキスト的および視覚的情報のモデリングにおいて、どのように比較されるか？

主な発見

• XLM-RoBERTaは、単一モダリティのテキストのみの検出において、F1スコア0.82を達成し、他のトランスフォーマー・モデルを上回った。
• DenseNet-161は、Memeの単一モダリティの視覚的分析において、F1スコア0.79を達成し、ResNet-152および他のCNNを上回った。
• XLM-RoBERTaとDenseNet-161のマルチモーダル統合は、F1スコア0.83およびMCC 0.67を達成し、最高の全体的な性能を示した。
• テキストモダリティが嫌がらせ検出において最も有用であることが判明した。一方、視覚的モダリティは中程度の寄与度を示した。
• mBERT-uncasedとEfficientNet-B7の組み合わせは、F1スコア0.82を達成し、多言語モデル統合の分野で優れた性能を示した。
• マルチモーダル統合でさえ、最高の単一モダリティのテキストベースモデルを上回ることはできなかった。これは、このタスクにおいてテキストそのものが非常に予測力が高いことを示唆している。