[論文レビュー] Adding guardrails to advanced chatbots

Yanchen Wang, Lisa Singh|arXiv (Cornell University)|Jun 13, 2023

Artificial Intelligence in Healthcare and Education被引用数 6

ひとこと要約

この論文は、キャリア関連の質問に対するChatGPTの公平性を評価し、検索エンジンとしての性能は優れているが、テキストおよびコード生成において人種的・性的・文化的背景に起因するバイアスを示していることを明らかにしている。本研究では、プロンプトと応答のバイアス補正、応答禁止、独立した助言委員会の設置を提言し、ブラックボックス型大規模言語モデルにおける倫理的セーフティを強化する緊急性を強調している。

ABSTRACT

Generative AI models continue to become more powerful. The launch of ChatGPT in November 2022 has ushered in a new era of AI. ChatGPT and other similar chatbots have a range of capabilities, from answering student homework questions to creating music and art. There are already concerns that humans may be replaced by chatbots for a variety of jobs. Because of the wide spectrum of data chatbots are built on, we know that they will have human errors and human biases built into them. These biases may cause significant harm and/or inequity toward different subpopulations. To understand the strengths and weakness of chatbot responses, we present a position paper that explores different use cases of ChatGPT to determine the types of questions that are answered fairly and the types that still need improvement. We find that ChatGPT is a fair search engine for the tasks we tested; however, it has biases on both text generation and code generation. We find that ChatGPT is very sensitive to changes in the prompt, where small changes lead to different levels of fairness. This suggests that we need to immediately implement "corrections" or mitigation strategies in order to improve fairness of these systems. We suggest different strategies to improve chatbots and also advocate for an impartial review panel that has access to the model parameters to measure the levels of different types of biases and then recommends safeguards that move toward responses that are less discriminatory and more accurate.

研究の動機と目的

• 平均給与、職務内容、教育要件などの多様なキャリア関連の質問に対するChatGPTの応答の公平性を評価すること。
• プロンプトのバリエーションが応答の公平性に与える影響を特定し、入力のフレーミングに敏感であるかを検出すること。
• ChatGPTのコード生成およびテキスト生成出力におけるバイアスを調査すること。
• 大規模言語モデルにおける性的・文化的バイアスを低減するための実行可能な緩和戦略を提言すること。
• モデルのパラメータにアクセス可能な独立した監査委員会を設置し、バイアスに対する対策を測定・推奨するよう提言すること。

提案手法

• 正確性と公平性の観点から、ChatGPTの応答を公式出典（労働省統計局、Glassdoor）と比較して分析した。
• 同一の質問を再表現することで、プロンプトの感受性を評価し、応答の公平性と内容の変化を分析した。
• 自然言語処理技術（BERTベースの毒性検出など）を用いて、バイアスを含むプロンプトを検出し、再表現するアルゴリズムによる事前処理バイアス補正を提言した。
• マスクされた語の置換とジェンダーに中立的な代替語を用いて、ジェンダー的または文化的バイアスを含む言語を中立化する、事後処理の応答補正を提言した。
• モデルの耐性が向上するまで、倫理的に感受性の高いまたは有害な質問に対する応答を一時禁止する仕組みの実装を提言した。
• バイアスの監査と効果的な対策の推奨に不可欠である、研究者、倫理学者、法曹専門家から構成される中立的な助言委員会の設置を提言した。

Figure 1: Experiment setup to explore bias in text generation from ChatGPT

実験結果

リサーチクエスチョン

• RQ1 ChatGPTは、平均給与、職務内容、教育要件といったキャリア関連の質問に対して、公式出典と比較してどの程度公平に応答しているか。
• RQ2 わずかなプロンプトの再表現が、ChatGPTの応答の公平性および文化的中立性にどの程度影響を及えるか。
• RQ3 ChatGPTのコード生成およびテキスト生成出力から生じるバイアスの種類は何か。また、それらはトレーニングデータのバイアスをどのように反映しているか。
• RQ4 プロンプトおよび応答のバイアス補正技術は、LLM出力における文化的バイアスを低減するためにどの程度効果的か。
• RQ5 独立した助言委員会のような、倫理的監査と継続的なバイアス低減を保証するための制度的仕組みは、どのようなものが必要か。

主な発見

• ChatGPTは事実に関する質問に対しては検索エンジンと同等の性能を示し、出典を明示して平均給与や職務要件を正確に報告している。
• 正確な事実の提示にもかかわらず、テキストおよびコード生成において人種的・性的背景に起因するバイアスを示しており、特にバイアスを含むまたは曖昧なプロンプトが与えられた場合に顕著である。
• わずかなプロンプトの再表現が、応答の公平性に顕著な変化をもたらすことが判明し、入力のフレーミングに極めて感受性が高く、モデルの耐性が低いことが示された。
• モデルは確認バイアスを示しており、トレーニングデータに存在する既存のステレオタイプや好みを強化しており、特にジェンダーに偏った言語や役割に関する仮定において顕著である。
• 倫理的に感受性の高いまたは有害な質問に対する応答を一時禁止することは、モデルの信頼性が向上するまでの間、差別的コンテンツの拡散を防ぐために不可欠である。
• モデルのパラメータにアクセス可能な独立した助言委員会は、バイアスの種類を測定し、効果的で透明性のある対策を推奨するために不可欠である。