[論文レビュー] ConvAbuse: Data, Analysis, and Benchmarks for Nuanced Abuse Detection in Conversational AI

Amanda Cercas Curry, Gavin Abercrombie+1 more|arXiv (Cornell University)|Sep 20, 2021

Hate Speech and Cyberbullying Detection参考文献 30被引用数 5

ひとこと要約

この論文では、3つの異なるAIボットとの現実世界の対話から収集された、会話型AIシステムを標的にした悪意ある言語の最初の公開英語コーパスであるConvAbuseを紹介する。本研究は、洗練されたアノテーションスキームを提示し、半数以上が性的に色気を帯びたものまたはセクハラ的であることを明らかにした。また、既存のモデルをベンチマーク化した結果、F1スコアが90%未満にとどまっていることが判明し、AIと人間の対話における悪意ある言語検出の分野に大きな改善余地があることが示された。

ABSTRACT

We present the first English corpus study on abusive language towards three conversational AI systems gathered "in the wild": an open-domain social bot, a rule-based chatbot, and a task-based system. To account for the complexity of the task, we take a more `nuanced' approach where our ConvAI dataset reflects fine-grained notions of abuse, as well as views from multiple expert annotators. We find that the distribution of abuse is vastly different compared to other commonly used datasets, with more sexually tinted aggression towards the virtual persona of these systems. Finally, we report results from bench-marking existing models against this data. Unsurprisingly, we find that there is substantial room for improvement with F1 scores below 90%.

研究の動機と目的

• 人間-AI対話における悪意ある言語検出のための、現実世界の公開可能なデータセットの不足を解消すること。
• 女性キャラクターを持つ会話型AIシステムを標的にした悪意ある言語の性質と分布を調査すること。
• 性別に基づく攻撃や性的に色気を帯びた攻撃を含む、洗練された形での悪意ある言語を捉える細分化されたアノテーションスキームの開発。
• 実際の人間-AI対話データ上で既存の悪意ある言語検出モデルをベンチマーク化し、性能のギャップを評価すること。
• 専門家によるアノテーション付きデータの公開と多様なアノテーターの視点の推奨を通じて、倫理的かつ代表的な悪意ある言語検出を促進すること。

提案手法

• オープンドメインのソーシャルボット、ルールベースのチャットボット、タスク指向のアシスタントの3つの実際の会話型AIシステムから、20,000件のユーザー発話文を収集した。
• 専門アノテーターを用いて、深刻度、意図、形式（例：性的に色気を帯びた、性差別的、一般攻撃）といった次元で悪意ある言語を分類する多段階のアノテーションスキームを設計した。
• 信頼性を確保し、多様な視点を捉えるために、一貫性に基づくラベル付けプロセスとアノテーター間的一致性のチェックを実施した。
• 4,000件のアノテーション付きサンプルと、再現可能性およびさらなる研究を支援するためのすべてのコードを公開した。
• 標準的な指標（例：F1スコア）を用いて、SOTAの悪意ある言語検出モデル（例：BERTベースの分類器）をConvAbuseデータセット上でベンチマーク化した。
• 悪意ある言語のパターンを調査するための定性的分析を実施し、特にAIキャラクターに対する性別に基づく言語や性的に色気を帯びた言語の広がりを検討した。

実験結果

リサーチクエスチョン

• RQ1 会話型AIシステムに対する悪意ある言語の分布は、ソーシャルメディアデータセットで観察されたものとどのように異なるか？
• RQ2 女性キャラクターを持つAIシステムを標的にした悪意ある言語の主な形態は何か。また、それらは広く社会に存在するミソジニーのパターンをどのように反映しているか？
• RQ3 既存の悪意ある言語検出モデルは、実際の人間-AI対話データにどの程度一般化できるか。また、どこで失敗するのか？
• RQ4 アノテーションに複数の専門家による視点を組み込むことで、悪意ある言語検出データセットの信頼性と洗練度はどの程度向上するか？
• RQ5 人間-AI対話における悪意ある言語のアノテーションとモデリングにおいて、どのような倫理的・代表的課題が生じるか。それらはどのように軽減できるか？

主な発見

• ConvAbuseデータセットにおける悪意ある発話の半数以上が、性別差別的または性的ハラスメント的要素を含んでおり、AIに対する攻撃に強い性別的側面があることが示された。
• 会話型AIにおける悪意ある言語の分布は、ソーシャルメディアデータセットとは顕著に異なり、性別に基づく攻撃や性的に色気を帯びた攻撃の頻度がより高いことが判明した。
• 既存の悪意ある言語検出モデルはConvAbuseデータセットでF1スコアが90%未満にとどまっているため、洗練された形での悪意ある言語検出の分野における大幅な改善余地があることが示された。
• アノテーションプロセスにおいて、発話者の属性（特に性別や人種）に関する仮定がラベル付け結果に顕著に影響することが判明し、多様なアノテーターのプールを整備する必要性が浮き彫りになった。
• 本データセットは、多数のプロダクティブな悪意ある発話者が少数で占めるリスクを低減するため、著しく多様な発信者構成を示している。
• データ収集とアノテーションにおける倫理的課題が特定された。具体的には、アノテーターのメンタルヘルスリスクや、非意識的システムを標的にした攻撃の道徳的曖昧性が挙げられ、研究者が透明性と倫理的データ実践を通じてこれらを対処した。