[論文レビュー] Towards Identifying Social Bias in Dialog Systems: Frame, Datasets, and Benchmarks

Jingyan Zhou, Jiawen Deng+7 more|arXiv (Cornell University)|Feb 16, 2022

Topic Modeling被引用数 6

ひとこと要約

本稿では、文脈依存性、データタイプ、標的となるグループ、示唆される態度の4段階で社会的バイアスを分析するためのDial-Biasフレームワークを紹介する。28,000件の文脈-応答ペairを含む、中国語対話システムにおける社会的バイアスを対象とした最初の高精度なアノテーション付き中国語対話バイアスデータセットCDial-Biasを提示し、現在のモデルやAPIが洗練されたバイアスを十分に検出できないことが明らかになった。これは、中国語対話システムにおいて文脈に配慮した多様なバイアス検出の必要性を示している。

ABSTRACT

The research of open-domain dialog systems has been greatly prospered by neural models trained on large-scale corpora, however, such corpora often introduce various safety problems (e.g., offensive languages, biases, and toxic behaviors) that significantly hinder the deployment of dialog systems in practice. Among all these unsafe issues, addressing social bias is more complex as its negative impact on marginalized populations is usually expressed implicitly, thus requiring normative reasoning and rigorous analysis. In this paper, we focus our investigation on social bias detection of dialog safety problems. We first propose a novel Dial-Bias Frame for analyzing the social bias in conversations pragmatically, which considers more comprehensive bias-related analyses rather than simple dichotomy annotations. Based on the proposed framework, we further introduce CDail-Bias Dataset that, to our knowledge, is the first well-annotated Chinese social bias dialog dataset. In addition, we establish several dialog bias detection benchmarks at different label granularities and input types (utterance-level and context-level). We show that the proposed in-depth analyses together with these benchmarks in our Dial-Bias Frame are necessary and essential to bias detection tasks and can benefit building safe dialog systems in practice.

研究の動機と目的

• オープンドメイン対話システムにおける微細で文脈依存性の高い社会的バイアスを検出する課題に取り組むこと。これは、二値分類や語彙ベースの手法ではしばしば暗黙的で、特定が困難である。
• 単純なアノテーションやキーワードマッチングを越えた包括的かつ包括的な対話における社会的バイアス分析のためのフレームワークを構築すること。
• 人種、性別、地域、職業という4つの主要なバイアストピックをカバーする、最初の高品質で詳細にアノテートされた中国語対話バイアスデータセット（CDial-Bias）を構築すること。
• 対話システムの社会的バイアス検出における微細なベンチマークを確立し、モデルのパフォーマンスとアノテーションの有効性を深く分析することを可能にする。
• 提案されたフレームワークと分類器を用いて代表的な中国語生成モデルを評価し、それらの応答に根強い社会的バイアスが存在することを明らかにすること。

提案手法

• Dial-Biasフレームワークを提案する。4段階のプロセスである：(1)文脈依存性の評価（文脈依存型対文脈独立型の応答）、(2)データタイプの分類（例：バイアスを示す、ニュートラル、曖昧）、(3)標的となる社会的グループの特定（例：性別、地域）、(4)グループに対する示唆される態度の特定（例：肯定的、否定的、ニュートラル）。
• 中国のSNSプラットフォーム「Zhihu」から28,000件の文脈-応答ペアを収集し、構造化されたデータクローリングとアノテーションパイプラインを用いて、代表性和品質を確保する。
• フレームワークから導出された4つの補助ラベル（文脈依存性、データタイプ、標的グループ、示唆態度）を用いたマルチラベルアノテーション方式を採用し、バイアス表現と文脈依存性の微細な分析を可能にする。
• CDial-Biasデータセットを用いてベンチマークを確立し、市販のAPIとカスタム分類器の両方を評価し、さまざまなバイアス検出タスクにおけるパフォーマンスを測定する。
• 人的評価とモデルベース検出を比較し、補助ラベルが検出精度向上に果たす重要性を強調する。
• フレームワークを用いて代表的な中国語生成モデルを評価し、バイアスパターンを同定し、自動および人的評価を用いてリスクレベルを測定する。

実験結果

リサーチクエスチョン

• RQ1 二値分類や語彙ベースの手法を超えて、対話システムにおける社会的バイアスを体系的に分析する方法は何か？
• RQ2 現在の市販APIやモデルは、中国語対話における洗練された文脈依存バイアスをどの程度検出できるか？
• RQ3 補助ラベル（文脈依存性、データタイプ、標的グループ、示唆される態度）は、バイアス検出モデルのパフォーマンスにどのような影響を与えるか？
• RQ4 CDial-Biasデータセットのラベル分布は、特に代表されないバイアスタイプを含めて、現実のオンライン対話にどの程度代表的か？
• RQ5 提案されたフレームワークとデータセットは、最先端の中国語生成モデルに隠れたバイアスを効果的に明らかにできるか？

主な発見

• CDial-Biasデータセットには、人種、性別、地域、職業という4つの主要な社会的バイアストピックをカバーする28,000件の文脈-応答ペアが、4つの詳細なラベルでアノテートされている。
• データセットは顕著なラベルの不均衡を示しており、わずか1.6％のサンプルが「反バイアス」とラベル付けされており、現実のオンラインコミュニティのダイナミクスを反映している。
• 市販のAPIや既存のモデルは、微細で文脈依存性の高いバイアスの検出能力に限界があることが明らかになった。これは、文脈に配慮した専用の検出手法の必要性を示唆している。
• Dial-Biasフレームワークから得られる補助ラベルを組み込むことで、バイアス検出のパフォーマンスが顕著に向上し、正確な同定においてその重要性が証明された。
• 代表的な中国語生成モデルの評価から、それらの応答に根強い社会的バイアスが存在することが判明し、実用的展開における継続的なリスクを示している。
• 本研究は、現在のアプローチがしばしば暗黙的または文脈に依存するバイアスを検出できないことを強調しており、特に表面的なテキストマッチングや二値分類に依存する場合に顕著である。