[論文レビュー] Hope Speech detection in under-resourced Kannada language

Adeep Hande, Ruba Priyadharshini+4 more|arXiv (Cornell University)|Aug 10, 2021

Hate Speech and Cyberbullying Detection被引用数 13

ひとこと要約

本稿では、YouTubeの6,176件のコードミックスド・カナダ語-英語コメントから構成される多言語データセットKanHopeを紹介する。このデータセットは、希望語り（支援的・肯定的コンテンツ）を手動でアノテートしたものである。本稿では、英語訳を活用して検出性能を向上させる二重チャネルBERTモデルであるDC-BERT4HOPEを提案し、重み付きF1スコア0.756を達成した。これは、低リソース言語としてのカナダ語における肯定的で励ましの内容を示すオンラインコンテンツを検出する分野で、ベースラインモデルを上回った。

ABSTRACT

Numerous methods have been developed to monitor the spread of negativity in modern years by eliminating vulgar, offensive, and fierce comments from social media platforms. However, there are relatively lesser amounts of study that converges on embracing positivity, reinforcing supportive and reassuring content in online forums. Consequently, we propose creating an English-Kannada Hope speech dataset, KanHope and comparing several experiments to benchmark the dataset. The dataset consists of 6,176 user-generated comments in code mixed Kannada scraped from YouTube and manually annotated as bearing hope speech or Not-hope speech. In addition, we introduce DC-BERT4HOPE, a dual-channel model that uses the English translation of KanHope for additional training to promote hope speech detection. The approach achieves a weighted F1-score of 0.756, bettering other models. Henceforth, KanHope aims to instigate research in Kannada while broadly promoting researchers to take a pragmatic approach towards online content that encourages, positive, and supportive.

研究の動機と目的

• カナダ語のような低リソース言語における肯定的で支援的なコンテンツ（希望語り）を検出する研究の不足に対処すること。
• 希望語り検出のための、ユーザー生成のコードミックスド・カナダ語コメントを高品質に手動アノテートしたデータセットを構築すること。
• 英語訳を活用することで、低リソース環境における性能を向上させる多言語ディープラーニングモデルを開発すること。
• 新しいKanHopeデータセット上で最先端のモデルをベンチマーク化し、低リソースNLP分野における肯定的コンテンツ研究の基盤を確立すること。

提案手法

• KanHopeデータセットは、YouTubeから6,176件のコードミックスド・カナダ語コメントをスクレイピングし、手動で「希望語り」と「非希望語り」のカテゴリに分類して構築された。
• 二重チャネルBERTベースのモデル、DC-BERT4HOPEは、元のカナダ語テキストとその英語訳を同時に処理するように設計された。
• モデルは、両言語チャネルからの表現を統合するためにクロスアテンション機構を用い、希望語りを示す表現の文脈的理解を向上させた。
• 汎化性能と頑健性を向上させるために、マルチタスク学習目的関数を用いて微調整を行った。
• 標準的なNLP指標、特に重み付きF1スコア、適合率、再現率を用いてモデルの訓練と評価を行った。
• 特に低リソース環境において汎化性能を向上させるために、翻訳を用いたデータ拡張が適用された。

実験結果

リサーチクエスチョン

• RQ1 限定的なアノテート済みデータのみを用いて、多言語微調整されたBERTモデルが、低リソースのカナダ語テキストにおける希望語りを効果的に検出できるか。
• RQ2 カナダ語コメントの英語訳を活用することで、単言語モデルと比較して希望語り検出性能がどのように向上するか。
• RQ3 DC-BERT4HOPEの性能は、KanHopeデータセット上でベースラインモデルと比較して、F1スコアおよびその他の評価指標においてどの程度優れているか。
• RQ4 翻訳によるデータ拡張が、低リソース環境におけるモデルの頑健性と汎化性能をどの程度向上させるか。
• RQ5 提案されたデータセットは、希望語り検出における言語的多様性とアノテーション品質の観点から、既存のデータセットと比較してどの程度優れているか。

主な発見

• DC-BERT4HOPEモデルは、KanHopeデータセット上で重み付きF1スコア0.756を達成し、すべてのベースラインモデルを上回った。
• 二重チャネルアーキテクチャで英語訳を活用することで、モデル性能が顕著に向上し、低リソース言語における多言語事前学習の価値が示された。
• KanHopeデータセットには、手動でアノテートされた6,176件のコメントが含まれており、今後の低リソース言語における希望語り検出研究の貴重なベンチマークを提供している。
• モデルの性能から、多言語信号を活用することで、低リソースNLPタスクにおけるデータ不足を効果的に緩和できることが示された。
• 本研究により、インドの言語における肯定的センチメントおよび支援的コンテンツ検出のための基盤となるデータセットとしてKanHopeが確立された。
• 結果から、多言語転移学習は、カナダ語のような低リソース環境におけるNLPモデル向上の有効な戦略であると示唆された。