[論文レビュー] KOLD: Korean Offensive Language Dataset

Younghoon Jeong, Juhyun Oh+5 more|arXiv (Cornell University)|May 23, 2022

Hate Speech and Cyberbullying Detection被引用数 4

ひとこと要約

本稿では、ニュース記事およびYouTube動画の40,429件のコメントから構成され、攻撃的タイプ、標的、標的集団分類に加え、攻撃的性と標的のスパンレベルのアノテーションを備えた、初めての大規模かつ階層的アノテーションが施された韓国語攻撃的言語データセットKOLDを紹介する。研究では、文脈（記事・動画のタイトル）を提供することでモデル性能が顕著に向上することを示しており、特に標的集団分類において+13.1 F1の向上を達成した。また、英語データセットと比較して、攻撃的言語の分布に文化的な差異が存在することも明らかにした。

ABSTRACT

Recent directions for offensive language detection are hierarchical modeling, identifying the type and the target of offensive language, and interpretability with offensive span annotation and prediction. These improvements are focused on English and do not transfer well to other languages because of cultural and linguistic differences. In this paper, we present the Korean Offensive Language Dataset (KOLD) comprising 40,429 comments, which are annotated hierarchically with the type and the target of offensive language, accompanied by annotations of the corresponding text spans. We collect the comments from NAVER news and YouTube platform and provide the titles of the articles and videos as the context information for the annotation process. We use these annotated comments as training data for Korean BERT and RoBERTa models and find that they are effective at offensiveness detection, target classification, and target span detection while having room for improvement for target group classification and offensive span detection. We discover that the target group distribution differs drastically from the existing English datasets, and observe that providing the context information improves the model performance in offensiveness detection (+0.3), target classification (+1.5), and target group classification (+13.1). We publicly release the dataset and baseline models.

研究の動機と目的

• 韓国語には特徴的な言語的・文化的特性があるが、そのような文化的に根ざした包括的な攻撃的言語データセットが不足している問題に対処すること。
• 攻撃的言語のタイプ、標的（個人／集団）、標的集団のアイデンティティを捉える階層的アノテーションフレームワークを構築し、微細な分析を可能にすること。
• 攻撃的スパンおよび標的スパンのアノテーションを通じて、モデルの解釈可能性を向上させ、説明可能性を高めること。
• 文脈的情報（例：記事または動画のタイトル）が、低リソース非英語環境における攻撃的言語検出の性能に与える影響を調査すること。
• 今後の研究を支援し、多言語攻撃的言語検出におけるバイアスを軽減するため、公開されたデータセットとベースラインモデルを提供すること。

提案手法

• NAVERニュースおよびYouTubeから40,429件の攻撃的コメントを収集し、関連する記事または動画のタイトルを文脈的メタデータとして付与した。
• 階層的アノテーションスキームを設計し、以下のラベルを付与した：(1) 攻撃的性（OFF/NOT）、(2) 標的タイプ（IND/GRP/OTH/UNT）、(3) 標的集団（例：人種、性別、宗教）、(4) 攻撃的語句および標的語句のスパンレベルアノテーション。
• 厳密なガイドラインと反復的更新を用いた3,124名の複数アノテータによるラベル付けプロセスを実施し、一貫性と曖昧なケースの対処を確保した。
• KOLDデータセット上で韓国語BERTおよびRoBERTaモデルを微調整し、攻撃的性検出、標的分類、スパン検出の3つのタスクを統合的に実行した。
• 文脈（タイトル）の有無に応じたモデル性能の評価を実施し、分類およびスパン検出タスクへの影響を分析した。
• アブレーションスタディを通じて、KOLDにおける標的集団の分布を既存の英語データセットと比較し、顕著な言語的・文化的差異を明らかにした。

実験結果

リサーチクエスチョン

• RQ1 既存の英語攻撃的言語データセットと比較して、韓国語における攻撃的言語の標的および集団の分布はどのように異なるか？
• RQ2 記事または動画のタイトルなどの文脈的情報を提供することで、韓国語における攻撃的言語検出モデルの性能はどの程度向上するか？
• RQ3 スパンレベルラベルを含む階層的アノテーションは、攻撃的言語検出タスクにおけるモデルの解釈可能性と性能を向上させることができるか？
• RQ4 KOLDを用いたマルチタスク学習において、微調整された韓国語BERTおよびRoBERTaモデルは、攻撃的性検出、標的分類、スパン検出の各タスクでどの程度の効果を発揮するか？
• RQ5 現在の多言語モデルは韓国語攻撃的言語に適用した際にどのような限界を示し、言語固有のデータセットによってどのように是正できるか？

主な発見

• 文脈（タイトル）の提供により、攻撃的性検出で+0.3 F1、標的分類で+1.5 F1、標的集団分類で+13.1 F1の向上が見られ、低リソース非英語環境において文脈の重要性が顕著に示された。
• KOLDにおける標的集団の分布は、既存の英語データセットとは顕著に異なり、人種的・民族的・宗教的集団を標的にした攻撃的コンテンツの割合が高かった。これは、攻撃的言語における文化的特異性を示している。
• KOLDデータセットを用いた韓国語BERTおよびRoBERTaモデルの微調整は、攻撃的性検出および標的分類において強力な性能を発揮したが、標的集団およびスパン検出の分野では改善の余地が残っている。
• アノテータは攻撃的コメントにおいて頻繁に標的語句を省略していたため、モデルは標的を推定するために文脈に依存する必要があり、これにより文脈情報の重要性が強調された。
• 多言語モデルが英語データで学習された場合、言語的・文化的な差異のため、韓国語に一般化しにくく、言語固有のデータセットの必要性が強調された。
• 高コストかつ複雑な作業であったが、KOLDにおける階層的かつ文脈に配慮したアノテーションフレームワークは、非英語言語における説明可能で文化的に根ざした攻撃的言語検出の新しい基準を確立した。