[論文レビュー] Detecting and Classifying Malevolent Dialogue Responses: Taxonomy, Data and Methodology

Yangjun Zhang, Pengjie Ren+1 more|arXiv (Cornell University)|Aug 21, 2020

Topic Modeling参考文献 60被引用数 7

ひとこと要約

本稿では、悪意ある対話応答の検出と分類（MDRDC）タスクを紹介し、階層的分類体系（HMDT）と、悪意ある応答を分類するためのクラウドソーシングによるマルチターン対話データセットを提案する。BERTベースのモデルを用いて、両方の対話参加者からの文脈を活用することで、最先端の性能を達成した。

ABSTRACT

Conversational interfaces are increasingly popular as a way of connecting people to information. Corpus-based conversational interfaces are able to generate more diverse and natural responses than template-based or retrieval-based agents. With their increased generative capacity of corpusbased conversational agents comes the need to classify and filter out malevolent responses that are inappropriate in terms of content and dialogue acts. Previous studies on the topic of recognizing and classifying inappropriate content are mostly focused on a certain category of malevolence or on single sentences instead of an entire dialogue. In this paper, we define the task of Malevolent Dialogue Response Detection and Classification (MDRDC). We make three contributions to advance research on this task. First, we present a Hierarchical Malevolent Dialogue Taxonomy (HMDT). Second, we create a labelled multi-turn dialogue dataset and formulate the MDRDC task as a hierarchical classification task over this taxonomy. Third, we apply stateof-the-art text classification methods to the MDRDC task and report on extensive experiments aimed at assessing the performance of these approaches.

研究の動機と目的

• マルチターン対話における悪意ある応答の検出と分類のための体系的フレームワークの不足に対処すること。
• ヘイトスピーチや攻撃的言語を超えた多様な悪意の形態を捉える包括的で階層的な分類体系（HMDT）を構築すること。
• HMDTを用いて細分化されたラベルが付与された大規模なマルチターン対話データセットを構築し、悪意ある応答検出モデルの学習と評価に用いること。
• MDRDCタスクにおける最先端の自然言語処理手法の評価を行い、文脈や階層的ラベル構造といった性能に影響を与える要因を同定すること。

提案手法

• 3段階の階層的悪意ある対話分類体系（HMDT）を提案：広範なカテゴリ（例：「中傷」）、サブカテゴリ（例：「人種的中傷」）、具体的なタイプ（例：「人種差別的スラング」）。
• 1,000件の会話から成るマルチターン対話データセットをクラウドソーシングで収集し、各発話にHMDT階層に基づくラベルを付与することで、階層的分類を可能にする。
• BERTベースのモデル（例：BERT-base）を用い、マルチラベルで階層的テキスト分類に微調整し、両方の発話者からの文脈を統合する。
• 分類体系の各レベルで精度、再現率、F1スコアを用いてモデル性能を評価し、文脈の使用やラベル階層の影響を検証するアブレーションスタディを実施。
• 発話者Aと発話者Bの両方からの文脈を活用することで分類性能を向上させ、アブレーションにより他方の発話者の文脈がより情報量が多いことが示された。
• 階層的ラベル構造の影響を分析し、2段階目と3段階目の分類性能を比較。より細分化されたラベルがF1スコアの向上に寄与することを実証。

実験結果

リサーチクエスチョン

• RQ1 ヘイトスピーチや攻撃的言語の定義を超えて、悪意ある対話応答を体系的に分類する方法は何か？
• RQ2 特に相手の発話者からの文脈が、悪意ある応答の検出に与える影響は何か？
• RQ3 階層的ラベル構造は、悪意ある応答分類モデルの性能にどのように影響を与えるか？
• RQ4 マルチターン対話データに微調整された、BERTのような最先端のモデルはMDRDCタスクでどの程度の性能を示すか？
• RQ5 再表現された発話や文脈モデリングは、単一ターン入力に比べて分類性能を向上させ得るか？

主な発見

• BERT-baseモデルは、他方の発話者からの文脈を用いることで、MDRDCタスクで最高の性能を示し、F1スコア81.78％を達成した。
• 両方の対話参加者からの文脈を活用することで、片方の発話者からのみの文脈を用いる場合よりも性能が向上し、他方の発話者の文脈がより強い影響を持つことが判明した。
• 3段階目の分類（細分化されたカテゴリ）では「嫉妬」カテゴリのF1スコアが80.00に達し、2段階目（72.73）よりも高い結果を示した（p < 0.05の有意差あり）。
• 同じユーザーからの文脈よりも、相手ユーザーからの文脈が分類性能を向上させることが示され、相手の行動が悪意の検出においてより強い信号であると考えられる。
• HMDT分類体系の階層的構造により、広いカテゴリと細分化されたカテゴリの間の依存関係をモデルが活用でき、分類性能が向上した。
• 再表現された発話や文脈モデリングは、さらなる性能向上の可能性を示しており、今後の文脈に配慮した応答フィルタリングの改善余地があることが示唆された。