[論文レビュー] Few-shot Instruction Prompts for Pretrained Language Models to Detect Social Biases

Shrimai Prabhumoye, Rafał Kocielnik+3 more|arXiv (Cornell University)|Dec 15, 2021

Topic Modeling被引用数 11

ひとこと要約

本稿では、微調整を伴わずに、大規模事前学習言語モデル（PLM）を用いて少量のラベル付きデータでの社会的バイアス検出のための少サンプルインstructプロンプト手法を提案する。小さなラベル付きリポジトリからクラスバランスが取れ、意味的に類似した例示例を選択し、構造化された指示をPLMに与えることで、複数のバイアス検出タスクで最先端または競争力のある性能を達成した。530Bパラメータを持つモデルでは、少なくとも13%のAUC向上を示し、わずか100件のラベル付きサンプルでも頑健な性能を発揮した。

ABSTRACT

Detecting social bias in text is challenging due to nuance, subjectivity, and difficulty in obtaining good quality labeled datasets at scale, especially given the evolving nature of social biases and society. To address these challenges, we propose a few-shot instruction-based method for prompting pre-trained language models (LMs). We select a few class-balanced exemplars from a small support repository that are closest to the query to be labeled in the embedding space. We then provide the LM with instruction that consists of this subset of labeled exemplars, the query text to be classified, a definition of bias, and prompt it to make a decision. We demonstrate that large LMs used in a few-shot context can detect different types of fine-grained biases with similar and sometimes superior accuracy to fine-tuned models. We observe that the largest 530B parameter model is significantly more effective in detecting social bias compared to smaller models (achieving at least 13% improvement in AUC metric compared to other models). It also maintains a high AUC (dropping less than 2%) when the labeled repository is reduced to as few as $100$ samples. Large pretrained language models thus make it easier and quicker to build new bias detectors.

研究の動機と目的

• 大規模で高価またはノイズの多いラベル付きデータセットを必要とせずに、テキストにおける繊細で主観的な社会的バイアスを検出する課題に対処すること。
• 大規模PLMの微調整に伴う制限、例えば高い計算コスト、深刻な忘却、小規模データセットでの過学習を克服すること。
• 大規模PLMの内部知識を活用して、ゼロショットおよび少サンプルのバイアス検出を多様なバイアスタイプに適用可能な柔軟な少サンプルプロンプティングフレームワークを構築すること。
• ランダムまたは一様サンプリングではなく、クラスバランスが取れ意味的に類似した例示例を選択することで、性能と頑健性を向上させること。
• 効果的なプロンプト設計により、最小限のラベル付きデータで大規模PLMが微調整済みモデルを上回る性能を発揮できることを示すこと。

提案手法

• 本手法は、クエリテキストと小さなサポートリポジトリ内のラベル付き例示例を、共通の意味的空間に埋め込むための文書エンコーダーを用いる。
• クエリの埋め込みとリポジトリの埋め込みの間のコサイン類似度を用いて、各クラスごとに固定数の例示例を選択し、クラスバランスを確保する。
• 選択された例示例をバイアスの定義とクエリテキストとともに、穴埋め形式の自然言語インstructプロンプトに統合する。
• このプロンプトを大規模事前学習言語モデル（例：530Bパラメータモデル）に与え、各バイアスクラスの条件付きトークン確率に基づいて予測を生成する。
• 本手法はモデルの内部知識と一般化能力に依存しており、微調整やパラメータの更新を一切行わない。
• 人間がアノテートしたデータセットを用いて、複数の二値および多値分類タスクで本手法を評価する。

実験結果

リサーチクエスチョン

• RQ1 意味的に選択された例示例を用いた少サンプルインストラクションプロンプトは、微調整済みモデルを上回る社会的バイアス検出性能を達成できるか？
• RQ2 異なるプロンプト設計および例示例選択戦略の下で、大規模事前学習言語モデルの性能はどのように変化するか？
• RQ3 ラベル付きリポジトリのサイズが著しく小さくなった場合、本手法はどの程度高い性能を維持できるか？
• RQ4 クラスバランスが取れ意味的に類似した例示例の使用は、ランダムまたは一様サンプリングに比べて検出精度を向上させるか？
• RQ5 同じプロンプティングフレームワークは、粗い粒度および細かい粒度の分類を含む多様なバイアスタイプに一般化可能か？

主な発見

• 530Bパラメータを持つ大規模言語モデルは、ほとんどのバイアス検出タスクで、より小さいモデルと比較して少なくとも13%のAUC向上を達成した。
• 本手法は最小限のラベル付きデータでも高い性能を維持し、ラベル付きリポジトリを35,000件から100件に削減してもAUCの低下が2%未満にとどまった。
• 少サンプルプロンプティングアプローチは、評価された8つのタスクのうち3つで微調整済みモデルを上回り、優れた一般化性能を示した。
• 本手法は、インプリシットなバイアス、標的指向のバイアス、文脈依存のバイアスを含む多様な社会的バイアスを効果的に検出でき、頑健性と柔軟性を示した。
• アブレーションスタディおよび定性的分析により、本手法は表面的なヒューリスティクスやキーワードマッチングではなく、より深い意味的理解に依存していることが確認された。
• 本フレームワークは、二値分類および多値分類タスクの両方を効果的に処理でき、多様なバイアス定義や標的グループに適応可能であることが示された。