[論文レビュー] "Kelly is a Warm Person, Joseph is a Role Model": Gender Biases in LLM-Generated Reference Letters

Yixin Wan, George Pu+4 more|arXiv (Cornell University)|Oct 13, 2023

Topic Modeling被引用数 17

ひとこと要約

この論文は、言語特徴と言語スタイルを横断して、LLMs（ChatGPT および Alpaca）によって生成された手紙における男女バイアスを分析し、文脈ベースのプロンプトにおけるバイアスのハルシネーションへの伝搬を含む。

ABSTRACT

Large Language Models (LLMs) have recently emerged as an effective tool to assist individuals in writing various types of content, including professional documents such as recommendation letters. Though bringing convenience, this application also introduces unprecedented fairness concerns. Model-generated reference letters might be directly used by users in professional scenarios. If underlying biases exist in these model-constructed letters, using them without scrutinization could lead to direct societal harms, such as sabotaging application success rates for female applicants. In light of this pressing issue, it is imminent and necessary to comprehensively study fairness issues and associated harms in this real-world use case. In this paper, we critically examine gender biases in LLM-generated reference letters. Drawing inspiration from social science findings, we design evaluation methods to manifest biases through 2 dimensions: (1) biases in language style and (2) biases in lexical content. We further investigate the extent of bias propagation by analyzing the hallucination bias of models, a term that we define to be bias exacerbation in model-hallucinated contents. Through benchmarking evaluation on 2 popular LLMs- ChatGPT and Alpaca, we reveal significant gender biases in LLM-generated recommendation letters. Our findings not only warn against using LLMs for this application without scrutinization, but also illuminate the importance of thoroughly studying hidden biases and harms in LLM-generated professional documents.

研究の動機と目的

• LLMs を用いて専門的な推薦状を生成する際の公正性の懸念を動機付ける。
• 2 つの生成設定：Context-Less Generation (CLG) と Context-Based Generation (CBG) で男女バイアスを定義・測定する。
• 生成された手紙における語彙内容、言語スタイル、およびハルシネーション偏りを調査する。
• 社会科学文献に基づく評価パイプラインを提案し、2 つの人気 LLM（ChatGPT と Alpaca）を用いてバイアスパターンをベンチマークする。

提案手法

• 2 つの生成設定: Context-Less Generation (CLG) と Context-Based Generation (CBG)。
• バイアスの定義を語彙内容（語彙の選択）と言語スタイル（形式性、ポジティブさ、エージェンシー）に分割。
• 語彙バイアスのオッズ比（OR）分析を、性別にステレオタイプ的な特徴語彙辞典を用いて実施。
• 言語スタイルの 3 指標: 形式性、ポジティブさ、エージェント的言語、性差を評価する t 検定。
• 文脈文 NLI によるハルシネーション偏り検出。生成全体テキストとハルシネーション内容を比較。
• 評価パイプラインを、ChatGPT および Alpaca でモデルベースおよびプロンプトベースの実験として実装。

Figure 1: Visualization of the proposed Context-Sentence Hallucination Detection Pipeline.

実験結果

リサーチクエスチョン

• RQ1 CLG および CBG 設定の下で、LLM 生成の推薦状は語彙内容と言語スタイルにおいて性別バイアスを示すか？
• RQ2 語彙選択と文体的特徴におけるバイアスはどのように現れ、ハルシネーション内容はこれらのバイアスを伝搬または増幅するか？
• RQ3 ChatGPT と Alpaca は専門的な手紙生成およびハルシネーションにおいて、性別バイアスに同様に敏感か？

主な発見

• LLMs は性別に biased な語彙顕在性を示し、男性の手紙では男性的特性が、女性の手紙では女性的特性が顕著になる。
• 言語スタイルのバイアスは、男性の手紙がより形式的、ポジティブ、エージェント的であることを示し、これが以前の社会科学的知見と一致する。
• ハルシネーション分析は、生成されたハルシネーションにも性別バイアスが含まれ、ChatGPT と Alpaca の両方でバイアスの伝搬と増幅が認められる。
• 文脈ベース生成 (CBG) でも伝記情報を用いた場合に性別に結びつく言語パターンが生じ、入力説明を超えたバイアスが存在することを示す。
• 本研究は、テストベッド、指標、プロンプトからなる、LLM 生成の専門文書におけるバイアスを識別・定量化するためのスケーラブルなフレームワークを提供する。

Figure 2: Structure of the preprocessing pipeline for constructing the WikiBias-Aug corpus.