[論文レビュー] BiasTestGPT: Using ChatGPT for Social Bias Testing of Language Models

Rafał Kocielnik, Shrimai Prabhumoye+4 more|arXiv (Cornell University)|Feb 14, 2023

Topic Modeling被引用数 4

ひとこと要約

この論文では、事前学習言語モデル（PLM）における社会的バイアスを検出するための多様で自然なテスト文を自動生成するためにChatGPTを活用する、BiasTestGPTというフレームワークを紹介する。HuggingFaceと統合されており、オンデマンドで柔軟にバイアスを指定できるため、従来のテンプレートベースやクラウドソーシング手法と比較して、交差的で微細なバイアスの検出が著しく向上する。ドメイン専門家が利用可能なスケーラブルでオープンソースのソリューションを提供する。

ABSTRACT

Pretrained Language Models (PLMs) harbor inherent social biases that can result in harmful real-world implications. Such social biases are measured through the probability values that PLMs output for different social groups and attributes appearing in a set of test sentences. However, bias testing is currently cumbersome since the test sentences are generated either from a limited set of manual templates or need expensive crowd-sourcing. We instead propose using ChatGPT for the controllable generation of test sentences, given any arbitrary user-specified combination of social groups and attributes appearing in the test sentences. When compared to template-based methods, our approach using ChatGPT for test sentence generation is superior in detecting social bias, especially in challenging settings such as intersectional biases. We present an open-source comprehensive bias testing framework (BiasTestGPT), hosted on HuggingFace, that can be plugged into any open-source PLM for bias testing. User testing with domain experts from various fields has shown their interest in being able to test modern AI for social biases. Our tool has significantly improved their awareness of such biases in PLMs, proving to be learnable and user-friendly. We thus enable seamless open-ended social bias testing of PLMs by domain experts through an automatic large-scale generation of diverse test sentences for any combination of social categories and attributes.

研究の動機と目的

• 既存の社会的バイアス検証手法の限界、すなわち小規模で人工的、あるいは高コストなクラウドソーシングによるテストセットに依存している点を是正すること。
• ドメイン専門家がカスタマイズ可能で文脈的に豊かなテスト文を用いて、PLMにおける社会的バイアスを体系的かつ効果的にテストできるようにすること。
• 大規模言語モデルを用いた自動化により、手作業によるテンプレート作成や高コストな人為的アノテーションに依存することを減らすこと。
• 従来の手法では見過ごされがちな複雑で交差的なバイアスの検出を向上させること。
• HuggingFaceに統合されたオープンソースで使いやすいツールを提供し、任意のオープンソースPLMでシームレスにバイアス検証を実施できるようにすること。

提案手法

• ユーザーが指定した社会的グループと属性の組み合わせに基づき、ChatGPTを用いて自然で文脈的に多様なテスト文を生成する。
• ステレオタイプとアンチステレオタイプのペア文を生成し、バイアスの定量的評価のための確率比較分析を可能にする。
• 用語ベースの入力を通じて柔軟なバイアス指定を可能にし、ユーザーがカスタムの社会的カテゴリーと属性を定義できる。
• テスト文はステレオタイプ／アンチステレオタイプのペアにグループ化され、Nadeemら（2021）のバイアス指標を用いてバイアスレベルを定量化する。
• ツールはHuggingFaceにホスティングされており、任意のHuggingFaceホスティングPLMと即座に統合され、リアルタイムでのバイアス評価が可能になる。
• モデルレベル、属性レベル、文レベルの複数レベルの出力をサポートし、詳細なバイアス分析を可能にする。

Figure 1. An overview of the Graphical User Interface of our open-source HuggingFace tool for social bias testing in PLMs. The tool connects to ChatGPT and supports step-by-step bias testing workflow (A). Following a flexible term-based bias specification by domain expert (B) the tool can retrieve o

実験結果

リサーチクエスチョン

• RQ1 LLMが生成するテスト文は、特に複雑な交差的状況において、テンプレートベースやクラウドソーシング手法を上回ってPLM内の社会的バイアスを検出できるか。
• RQ2 ChatGPTは、多様で文脈的に自然で代表的なテスト文を、バイアス検証に適した形で生成できるか。
• RQ3 NLPの専門知識のないドメイン専門家にとって、BiasTestGPTフレームワークは使いやすく、効果的であるか。
• RQ4 自動生成されたテスト文は、従来の手法と比較して、微細なバイアスや交差的バイアスの検出を向上させているか。
• RQ5 信頼性とスケーラビリティの観点から、既存の内在的バイアス評価手法と比較して、このフレームワークのパフォーマンスはどの程度か。

主な発見

• BiasTestGPTは、特に挑戦的な交差的バイアスの状況において、テンプレートベース手法と比較して、PLM内での社会的バイアス検出を著しく向上させた。
• フレームワークにより、ドメイン専門家はオンデマンドで高品質で文脈的に多様なテスト文を生成でき、AIにおける公平性問題への認識が高まった。
• ドメイン専門家を対象としたユーザーテストでは、ツールの使いやすさと関心が強く確認され、学習可能性と実用的価値が裏付けられた。
• 生成されたテストセットは自動的にHuggingFace形式でオープンソース化され、即時のアクセス性と再現可能性が保証された。
• 文レベルの細かいインスペクションが可能で、ユーザーがバイアスの検出結果を手動で検証・検証できる。
• 基礎となるLLMのトレーニングデータ分布に起因する制限は存在するが、高コストまたは硬直的なバイアス検証パイプラインに代わるスケーラブルで柔軟な代替手段を提供した。

Figure 2. Overview of our BiasTestGPT framework for test sentence generation for social bias testing in pre-trained language models. We leverage ChatGPT to generate sentences to test social bias on a Tested PLM . The steps involved: (1) user-provided social bias specification; (2) ChatGPT generation