[論文レビュー] K-MHaS: A Multi-label Hate Speech Detection Dataset in Korean Online News Comment

Jean Lee, Taejun Lim+5 more|arXiv (Cornell University)|Aug 23, 2022

Hate Speech and Cyberbullying Detection被引用数 10

ひとこと要約

K-MHaS は、8つの細分化カテゴリに跨る1〜4つの重複ラベルを含む109,692件の韓国語ニュースコメントを含む大規模かつマルチラベルな嫌がらせ発言検出データセットであり、嫌がらせにおける重複性と主観性のモデリングを可能にする。サブ文字レベルのトークナイザーを備えたKR-BERTモデルは最先端の性能を達成しており、ハングル文字を分解することで嫌がらせの変種の検出が向上することを示している。

ABSTRACT

Online hate speech detection has become an important issue due to the growth of online content, but resources in languages other than English are extremely limited. We introduce K-MHaS, a new multi-label dataset for hate speech detection that effectively handles Korean language patterns. The dataset consists of 109k utterances from news comments and provides a multi-label classification using 1 to 4 labels, and handles subjectivity and intersectionality. We evaluate strong baseline experiments on K-MHaS using Korean-BERT-based language models with six different metrics. KR-BERT with a sub-character tokenizer outperforms others, recognizing decomposed characters in each hate speech class.

研究の動機と目的

• 多言語嫌がらせ発言データセットの不足を解消するため、言語的ニュアンスと重複性を捉えた大規模かつマルチラベルな韓国語データセットの構築。
• 人種、性別、政治、乱暴語など複数の次元に跨る重複ラベルをサポートすることで、韓国語における頑健な嫌がらせ発言検出を可能にする。
• 実世界のコメントの動態を反映した現実的で複雑な韓国語嫌がらせ発言検出ベンチマーク上で、最先端の事前学習言語モデルの評価を実施する。

提案手法

• 2018年1月から2020年6月までの間、109,692件の韓国語オンラインニュースコメントを収集し、低品質または短い発言を正規化およびフィルタリングする前処理を実施。
• 2段階のラベル付けスキームを適用：(1) バイナリ分類（嫌がらせ発言 vs. それ以外）、(2) 政治、性別、宗教、乱暴語などを含む8つのカテゴリにおける細分化マルチラベル分類。
• 1サンプルあたり1〜4つのラベルをサポートするマルチラベル分類を可能とし、実世界の主観性を反映するため、重複および交差する嫌がらせ属性を許容。
• KoELECTRA、KoBERT、Multi-BERT、KR-BERTなどの事前学習言語モデルを、ハングル文字をグラフィムに分解するサブ文字レベルのトークナイザーを用いてK-MHaSで微調整。
• 6つの標準的なマルチラベル評価指標（F1-macro、F1-micro、F1-weighted、Exact Match、AUC、Hamming Loss）を用いて評価し、包括的な性能比較を可能に。
• KR-BERTに搭載されたサブ文字レベルのトークナイザーは、ハングルの形態素構造の複雑さに対処するように設計されており、音節を初声子音、母音、終声子音（例：ㅋ, ㅗ, ㄹ）に分解することで、スラングや形態素的変種の検出を向上。

実験結果

リサーチクエスチョン

• RQ1 既存の事前学習言語モデルは、重複および交差するアイデンティティを扱う際、韓国語のマルチラベル嫌がらせ発言検出においてどの程度効果的か？
• RQ2 標準的な文字または語彙レベルのトークナイゼーションと比較して、サブ文字レベルのトークナイゼーションは韓国語テキストにおける嫌がらせ発言検出性能をどの程度向上させるか？
• RQ3 事前学習データの分布（例：Wikipedia 対現代のオンラインコーパス）の選択が、実世界の嫌がらせ発言検出タスクにおけるモデルの汎化性能と性能に与える影響はいかほどか？
• RQ4 大規模な韓国語嫌がらせ発言データセットにおけるラベル分布とラベル間相関構造はどのようなものか？また、それはモデル学習と評価にどのような影響を及えるか？

主な発見

• KoELECTRAが全6評価指標で最高の全体的性能を示し、特に現代のオンラインコーパス（例：ナムウィキ、モドゥ）を含む多様な事前学習データがモデルの頑健性を著しく向上させることを示している。
• サブ文字レベルのトークナイザーを備えたKR-BERTは、上位10のラベルペアのうち6つで他のすべてのモデルを上回り、特に「ルート・ジェンダー」のような交差的嫌がらせ発言を検出する際、micro-F1が0.9494に達するなど優れた性能を示している。
• サブ文字トークナイザーにより、KR-BERTは複雑な韓国語音節を意味のある部分構成（例：ㅋ, ㅗ, ㄹ）に分解でき、既知の形態からわずかに逸脱した嫌がらせ発言の変種でさえ検出可能となった。
• 単一ラベル分類においては、KR-BERT-c（文字レベル）とKoELECTRAが最高のF1-microスコア（それぞれ0.8553および0.8490）を記録し、データと強いドメイン適合性を示している。
• Multi-BERT（多言語）と韓国語固有のモデル（KoELECTRA、KR-BERT）との間の性能差は、最適な嫌がらせ発言検出のための言語固有の事前学習の重要性を強調している。
• ラベルペア分析から、『政治・乱暴語』や『性別・年齢』のような交差的カテゴリは特に困難であり、F1-microスコアが0.20〜0.30の範囲にとどまっていることから、複雑で重複するアイデンティティをモデル化する余地が依然として存在することが示された。