[論文レビュー] OpinionGPT: Modelling Explicit Biases in Instruction-Tuned LLMs

Patrick Haller, Ansar Aynetdinov+1 more|arXiv (Cornell University)|Sep 7, 2023

Text Readability and Simplification被引用数 4

ひとこと要約

OpinionGPT は、政治的、地理的、性的、年齢別などの社会的バイアスを明示的にモデル化・比較するウェブベースのデモを導入している。政治的、地理的、性的、年齢別バイアスをラベル付けした Reddit ベースの指示・応答ペair を用いて LLaMA モデルを微調整することで、異なる視点を反映した並列応答を生成し、バイアスを抑圧するのではなく、透明性を提供する。

ABSTRACT

Instruction-tuned Large Language Models (LLMs) have recently showcased remarkable ability to generate fitting responses to natural language instructions. However, an open research question concerns the inherent biases of trained models and their responses. For instance, if the data used to tune an LLM is dominantly written by persons with a specific political bias, we might expect generated answers to share this bias. Current research work seeks to de-bias such models, or suppress potentially biased answers. With this demonstration, we take a different view on biases in instruction-tuning: Rather than aiming to suppress them, we aim to make them explicit and transparent. To this end, we present OpinionGPT, a web demo in which users can ask questions and select all biases they wish to investigate. The demo will answer this question using a model fine-tuned on text representing each of the selected biases, allowing side-by-side comparison. To train the underlying model, we identified 11 different biases (political, geographic, gender, age) and derived an instruction-tuning corpus in which each answer was written by members of one of these demographics. This paper presents OpinionGPT, illustrates how we trained the bias-aware model and showcases the web application (available at https://opiniongpt.informatik.hu-berlin.de).

研究の動機と目的

• トレーニングデータに内在するバイアスが、特に政治的・文化的に敏感な分野における LLM 応答にどのように影響するかを調査すること。
• バイアスを抑圧するという支配的パラダイムに挑戦し、モデル出力においてバイアスを明示的かつ透明にすること。
• 同じ質問に対して複数のバイアス視点から回答される方法を比較できるツールを開発すること。
• 研究者および一般大衆が、NLP システムにおける主観性、言語の多様性、バイアスを研究できるプラットフォームを提供すること。
• 文化的・文化的視点が言語生成に与える役割についての意識を高め、特定の見解を支持するのではなく、中立的な立場を保つこと。

提案手法

• 特定のデモグラフィックグループ（例：'r/conservative'、'r/DebatePolitics'、'r/AskGermany'）に該当するサブレッドから投稿および応答を収集し、バイアス認識型の指示微調整コーパスを構築した。
• 政治的（リベラル、コンservative）、地理的（米国、ドイツ、中東、ラテンアメリカ）、年齢（ティーンエイジャー、30歳以上、45歳以上）、性別（男性、女性）を含む、各応答に関連するバイアスカテゴリをラベル付けした。
• 各応答が特定のバイアスラベルに関連付けられた、キュレートされたデータセット上で指示微調整を実施した LLaMA モデルを微調整した。
• ユーザーが質問を入力し、複数のバイアスカテゴリを選択できるウェブインターフェースを設計し、選択されたバイアスごとに別々の応答を生成するようにモデルを起動した。
• 推論時に選択されたバイアスに基づいてモデルを条件づけるプロンプト工学戦略を実装し、各応答が対応するデモグラフィック視点を的確に反映することを保証した。
• 匿名化・個人識別情報の削除を施したユーザーインタラクションデータを採用し、モデルの公開を回避して悪用を防ぎ、研究目的に限定した保護された API を通じてアクセスを制限した。

実験結果

リサーチクエスチョン

• RQ1 政治的、地理的、年齢的、性的バイアスが、指示微調整済み LLM が生成する応答にどのように影響するか。
• RQ2 1 つの LLM が、事前に定義された複数のバイアスカテゴリに対して文脈的に適切で、明確に区別された応答を生成できるか、その程度はどの程度か。
• RQ3 モデル出力にバイアスを明示することで、NLP システムにおける主観性の理解と透明性が向上するか。
• RQ4 Reddit のようなオンラインフォーラムのデータを用いて微調整する際、バイアスの漏れや混同が生じるリスクは何か。
• RQ5 バイアス認識型モデルをどのように倫理的に展開すれば、有害なイデオロギーを助長せずに議論を促進できるか。

主な発見

• OpinionGPT モデルは、選択されたバイアスカテゴリごとに明確で文脈的に適切な応答を生成し、バイアスラベル付きデータに対する微調整が、視点の制御された生成を可能にしていることを示した。
• 応答はバイアスによって顕著に異なる。例えば、「信頼できるテレビニュースチャンネルの例を2つ挙げてください」という質問に対して、コンservative 視点では「Fox News」、リベラル視点では「the Verge」、米国視点では「CNN」、ドイツ視点では「Tagesschau」が返された。
• モデルは、各バイアスグループに特徴的な言語的・文化的特徴を反映する洗練された応答を示しており、視点特有の言語パターンを効果的に捉えていることが示された。
• 成功の一方で、Reddit のユーザー集団から由来するグローバルなバイアス層をモデルが引き継いでおり、モデル内の「アメリカ人」や「ドイツ人」は、特定のサブレッドに投稿する人々を表しており、一般大衆を表すものではない。
• バイアスの漏れが観察された。たとえば、あるバイアスグループの応答が、しばしば別のグループの特徴を反映しており、微調整過程での混同の可能性が示された。
• 本プロジェクトは、バイアス認識型モデルの配備に伴う倫理的リスクを浮き彫りにした。その結果、モデルを一般公開せず、研究者専用の保護された API を通じてのみアクセスを提供することを決定した。