[論文レビュー] Take Care of Your Prompt Bias! Investigating and Mitigating Prompt Bias in Factual Knowledge Extraction

Ziyang Xu, Keqin Peng+3 more|arXiv (Cornell University)|Mar 15, 2024

Topic Modeling被引用数 4

ひとこと要約

この論文は、事実知識抽出における事前学習言語モデル（PLM）のプロンプトバイアスを調査し、すべてのプロンプトが無視できないバイアスを示していることを示している。特に、AutoPrompt や OptiPrompt などの勾配ベースのプロンプトは顕著なバイアスを示しており、ベンチマークの精度が上方に歪められ、リtrieval性能が損なわれる。著者らは、マスクされた入力を用いたクエリによってプロンプト固有のバイアスを推定し、内部表現からそれを差し引くことで、表現ベースのデバイアス化手法を提案している。この手法により、リtrieval精度が著しく向上（最大10%の絶対的増加）し、過学習に起因する性能の上方歪みを是正することでベンチマークの信頼性が向上する。

ABSTRACT

Recent research shows that pre-trained language models (PLMs) suffer from "prompt bias" in factual knowledge extraction, i.e., prompts tend to introduce biases toward specific labels. Prompt bias presents a significant challenge in assessing the factual knowledge within PLMs. Therefore, this paper aims to improve the reliability of existing benchmarks by thoroughly investigating and mitigating prompt bias. We show that: 1) all prompts in the experiments exhibit non-negligible bias, with gradient-based prompts like AutoPrompt and OptiPrompt displaying significantly higher levels of bias; 2) prompt bias can amplify benchmark accuracy unreasonably by overfitting the test datasets, especially on imbalanced datasets like LAMA. Based on these findings, we propose a representation-based approach to mitigate the prompt bias during inference time. Specifically, we first estimate the biased representation using prompt-only querying, and then remove it from the model's internal representations to generate the debiased representations, which are used to produce the final debiased outputs. Experiments across various prompts, PLMs, and benchmarks show that our approach can not only correct the overfitted performance caused by prompt bias, but also significantly improve the prompt retrieval capability (up to 10% absolute performance gain). These results indicate that our approach effectively alleviates prompt bias in knowledge evaluation, thereby enhancing the reliability of benchmark assessments. Hopefully, our plug-and-play approach can be a golden standard to strengthen PLMs toward reliable knowledge bases. Code and data are released in https://github.com/FelliYang/PromptBias.

研究の動機と目的

• 事前学習言語モデル（PLM）からの事実知識抽出におけるプロンプトバイアスの程度と影響を調査すること。
• プロンプトバイアスがベンチマークデータセットに過学習を引き起こし、精度を不自然に上方に歪め、評価結果を歪めることを示すこと。
• プロンプトバイアスが、モデルの正しい事実知識を正しくリtrieveする能力を損なうことで、誤った予測を引き起こすこと。
• 再トレーニングやデータ操作なしに、モデルの表現からプロンプトに起因するバイアスを除去する、プラグアンドプレイ型で推論時デバイアス化手法を提案すること。
• バイアスに起因する性能の上方歪みを是正することで、事実知識ベンチマークの信頼性を向上させ、真のリtrieve能力を強化すること。

提案手法

• 入力の主語を [MASK] に置き換えた「プロンプト固有の入力」を用いてPLMにクエリを発行し、出力確率へのプロンプトの影響を分離してプロンプトバイアスを推定する。
• プロンプトが [MASK] を含む入力で処理された際のモデルの隠れ状態から「バイアス付き表現」を構築し、プロンプト構造が引き起こすバイアスを捉える。
• ベクトル演算を用いて、与えられた入力の元の表現から推定されたバイアス付き表現を差し引くことで、デバイアス化された表現を生成する。
• デバイアス化された表現を用いて最終的な予測を生成することで、プロンプト固有のバイアスの影響を効果的に除去する。
• さまざまなプロンプト、PLM（例：BERT、Llama2）、ベンチマーク（例：LAMA）にこの手法を適用し、一般化性と頑健性を示す。
• デバイアス化された表現を文書埋め込みとして使用し、PromptBERT などの下流タスクとの互換性を確保する。

実験結果

リサーチクエスチョン

• RQ1 異なるプロンプトタイプは、事実知識抽出においてどれほど無視できないプロンプトバイアスを示すか？
• RQ2 プロンプトバイアスは、LAMA のような不均衡なデータセットにおいて、ベンチマーク評価の信頼性にどのように影響を与えるか？
• RQ3 モデルの内部知識が正しい答えを支持しているにもかかわらず、プロンプトバイアスがPLMに誤った事実予測を引き起こすことは可能か？
• RQ4 再トレーニングやデータ操作なしに、表現ベースで推論時に行えるデバイアス化手法は、プロンプトバイアスを効果的に是正できるか？
• RQ5 デバイアス化は、過学習に起因する性能の上方歪みを是正することで、プロンプトの真の事実リtrieve能力を向上させるか？

主な発見

• 自動プロンプトや OptiPrompt などの高性能な勾配ベースのプロンプトを含め、評価されたすべてのプロンプトが無視できないプロンプトバイアスを示しており、特に OptiPrompt は顕著に高いバイアスレベルを示している。
• BERT-base を用いて LAMA ベンチマークをプローブした際、テストデータへの過学習により、絶対的精度が16.47%以上上方に歪められる可能性がある。
• プロンプトバイアスは予測を誤導することでモデル性能を損なう。例として、アルバニア人の宗教として「キリスト教」を誤って予測してしまうなど、BERT が誤った予測を下す事例が確認された。
• 提案された表現ベースのデバイアス化手法は、プロンプトバイアスに起因する性能の上方歪みを効果的に是正し、より信頼できるベンチマーク評価を回復させた。
• この手法により、複数のモデルとベンチマークで最大10%の絶対的性能向上が達成され、プロンプトのリtrieve能力が向上した。
• デバイアス化後、最先端のプロンプトと単純な手動プロンプトの間の性能差が縮まり、従来の性能向上は主に過学習に起因するものであり、優れた知識リtrieve能力によるものではなかったことが示された。