[論文レビュー] Evaluation of African American Language Bias in Natural Language Generation

Nicholas Deas, Jessi Grieser+4 more|arXiv (Cornell University)|May 23, 2023

Text Readability and Simplification被引用数 4

ひとこと要約

本稿は、2つのタスク（同等表現生成およびマスキングされたスパン予測）を用いて、大規模言語モデル（LLMs）がアフリカ系アメリカー語（AAL）に対して示すバイアスを評価する。新規のマルチコンテキストAALデータセットを用いて、著者たちは顕著なパフォーマンス格差を発見し、LLMsが白人メインストeam英語（WME）よりもAALに対してより困難に反応していることを示している。これは、生成モデルにおける言語的方言バイアスを示している。

ABSTRACT

We evaluate how well LLMs understand African American Language (AAL) in comparison to their performance on White Mainstream English (WME), the encouraged "standard" form of English taught in American classrooms. We measure LLM performance using automatic metrics and human judgments for two tasks: a counterpart generation task, where a model generates AAL (or WME) given WME (or AAL), and a masked span prediction (MSP) task, where models predict a phrase that was removed from their input. Our contributions include: (1) evaluation of six pre-trained, large language models on the two language generation tasks; (2) a novel dataset of AAL text from multiple contexts (social media, hip-hop lyrics, focus groups, and linguistic interviews) with human-annotated counterparts in WME; and (3) documentation of model performance gaps that suggest bias and identification of trends in lack of understanding of AAL features.

研究の動機と目的

• 大規模言語モデル（LLMs）が、白人メインストリーム英語（WME）と比較して、アフリカ系アメリカー語（AAL）の理解および生成においてバイアスを示すかどうかを調査すること。
• 新規で多様なAALデータセットを用いて、LLMsを同等表現生成およびマスキングされたスパン予測という2つの言語生成タスクで評価すること。
• ドロップドコピュラーや習慣的beといったAALの特徴を解釈および生成する際の、特に言語的方言バイアスを示すパフォーマンス格差を文書化すること。
• 監視や高影響度アプリケーション（医療やメンタルヘルスなど）における誤用の可能性を提起するとともに、高影響度アプリケーションにおけるモデルの包括性向上を提唱すること。

提案手法

• ソーシャルメディア、ヒップホップの歌詞、フォーカスグループ、言語学的インタビューから成るAALテキストの新規データセットを構築し、人間によるWME同等表現をアノテートした。
• 6つの事前学習済みLLMsを、AALとWMEの間での翻訳タスク（同等表現生成）で評価し、言語的方言理解度を測定した。
• マスキングされたスパン予測（MSP）タスクを適用し、AALおよびWMEの文脈で欠落したフレーズを予測する能力をテストした。
• 自動指標と人間の判断を用いてモデルのパフォーマンスを評価し、正確性および言語的方言特徴の保持に注目した。
• エラー解析を実施し、ドロップドコピュラーーや時制マークなど、特定のAALの機能について、モデルが一貫して失敗する箇所を同定した。
• バイアスを含むモデルに依存せず、バイアスの強化を回避するため、毒性評価にレキソンベースのアプローチを採用した。

実験結果

リサーチクエスチョン

• RQ1 大規模言語モデル（LLMs）は、白人メインストリーム英語（WME）と比較して、アフリカ系アメリカー語（AAL）の生成および理解において、パフォーマンス格差を示すか？
• RQ2 AALの具体的な構文的特徴（例：ドロップドコピュラー、習慣的be）の中で、LLMsが最も頻繁に誤解または誤生成するものは何か？
• RQ3 SNS、音楽、フォーカスグループなど、AAL使用の異なる文脈において、モデルのパフォーマンスはどのように変化するか？
• RQ4 AALとWMEの間で翻訳する際、LLMsが意味的同等性をどれほど正確に保持できていないか？
• RQ5 AALをよりよく理解するLLMsが、監視や高リスクアプリケーションにおいて、どのような倫理的含意を伴うか？

主な発見

• 評価された6つのすべてのモデルで、AALの理解および生成においてWMEと比較して顕著なパフォーマンス格差が認められ、一貫した劣化が見られた。
• モデルはドロップドコピュラー（例：'she at work'） や習慣的be（例：'he be running'） といった重要なAAL特徴を頻繁に保持できないことが判明し、言語的方言理解が不十分であることを示している。
• エラー解析から、モデルがAAL特徴をWME形式に過剰に修正する傾向があることが明らかになった。これは、標準語へのバイアスを示している。
• マスキングされたスパン予測タスクは、非標準的な文法や語彙的選択を含む文脈的に適切なAALフレーズの予測に、モデルが困難であることをさらに確認した。
• 特にヒップホップの歌詞やフォーカスグループディスカッションのように、微妙な言語的手がかりが意味的重みを持つ文脈的・文化的に複雑なAALでは、パフォーマンス格差が顕著に顕在した。
• 本研究は、現在の評価指標自体がバイアスを内包している可能性を浮き彫りにした。レキソンベースやモデルベースの測定は、AALを誤って「有毒」または「誤り」と分類する可能性があり、システム的不平等を助長する。