[論文レビュー] On Measuring Social Biases in Prompt-Based Multi-Task Learning

Afra Feyza Akyürek, Sejin Paik+4 more|arXiv (Cornell University)|May 23, 2022

Topic Modeling被引用数 4

ひとこと要約

本論文は、プロンプトベースのマルチタスク学習における社会的バイアスに与える入力フォーマットの影響を調査し、大規模なテキスト対テキスト言語モデルT0を対象としている。意味的に同等の入力を質問・回答（QA）形式と前提・仮説（NLI）形式で比較した結果、T0は性能に類似したにもかかわらず、トレーニングデータの整合性に起因してQA形式で顕著に高いバイアスを示すことが判明した。著者らは、手書きの仮説を備えた自然言語推論（NLI）における最初のバイアスベンチマーク「BBNLI」を提案し、今後のマルチタスクモデルにおけるバイアス軽減研究を支援するため、コードとデータを公開した。

ABSTRACT

Large language models trained on a mixture of NLP tasks that are converted into a text-to-text format using prompts, can generalize into novel forms of language and handle novel tasks. A large body of work within prompt engineering attempts to understand the effects of input forms and prompts in achieving superior performance. We consider an alternative measure and inquire whether the way in which an input is encoded affects social biases promoted in outputs. In this paper, we study T0, a large-scale multi-task text-to-text language model trained using prompt-based learning. We consider two different forms of semantically equivalent inputs: question-answer format and premise-hypothesis format. We use an existing bias benchmark for the former BBQ and create the first bias benchmark in natural language inference BBNLI with hand-written hypotheses while also converting each benchmark into the other form. The results on two benchmarks suggest that given two different formulations of essentially the same input, T0 conspicuously acts more biased in question answering form, which is seen during training, compared to premise-hypothesis form which is unlike its training examples. Code and data are released under https://github.com/feyzaakyurek/bbnli.

研究の動機と目的

• 問題の内容とは独立して、問題がどのようにエンコードされているかが大規模言語モデルにおける社会的バイアスに影響を与えるかどうかを調査すること。
• 同じ意味的入力に対して、質問・回答（QA）形式と自然言語推論（NLI）形式の両方におけるバイアスレベルを比較すること。
• 手書きの仮説を備えた自然言語推論における最初のバイアスベンチマーク「BBNLI」を構築・公開し、認知的および社会的バイアスの体系的評価を支援すること。
• 特に、T0のような多様なプロンプトでトレーニングされたモデルにおいて、マルチタスク学習における入力形式と内容の影響を分離すること。
• モデルのパフォーマンスを損なわせることなく、代替的な入力フォーマットを通じてバイアスを軽減するための知見を提供すること。

提案手法

• 著者らは、62のデータセットおよび12のタスクにまたがる多様なプロンプトで微調整された11Bパラメータのマルチタスクテキスト対テキストモデルT0を用いる。
• バイアスの評価には、2つのベンチマークを用いる：既存のQAバイアスベンチマークであるBBQと、16の有害なステレオタイプ（3つのドメインにわたる）の手書き仮説を備えた新規NLIバイアスベンチマークであるBBNLI。
• BBNLIの各例は、QA形式とNLI形式の両方で提供され、同じ意味的入力に対してモデルの行動を直接比較可能であり、意味的同等性を保ったままである。
• 既存のBBQ例をNLI形式に変換（BBQ → NLI）し、逆方向のベンチマーク（BBNLI → QA）を構築することで、入力形式間のバランスの取れた比較を確保した。
• バイアスは、両形式においてステレオタイプ的出力と反ステレオタイプ的出力の間でのモデルの好みを計算することで測定した。
• すべてのコードとデータセットは、https://github.com/feyzaakyurek/bbnli に公開され、再現性および今後の研究を支援している。

実験結果

リサーチクエスチョン

• RQ1 入力形式（例：質問・回答形式対前提・仮説形式）が、内容とは独立してマルチタスク言語モデルにおける社会的バイアスのレベルに影響を与えるか？
• RQ2 トレーニングに含まれた形式（例：QA）と含まれない形式（例：NLI）の間で、バイアスレベルはどのように比較されるか？
• RQ3 同じ意味的入力が異なるプロンプトテンプレートに再形式化された場合、モデルの行動はどの程度変化するか？
• RQ4 自然言語推論（NLI）用の新しいベンチマーク（BBNLI）は、マルチタスクモデルにおける認知的および社会的バイアスを効果的に捉え、測定できるか？
• RQ5 代替的な入力フォーマットは、モデルのパフォーマンスを損なわせることなくバイアスを低減できるか？

主な発見

• T0は、意味的に同一の入力であっても、質問・回答（QA）形式では自然言語推論（NLI）形式よりも顕著に高い社会的バイアスを示す。
• バイアスの差は、性能の低下によるものではなく、両形式でモデルの正確性が安定していることから、そのような要因ではない。
• モデルがQA形式でより強いバイアスを示すのは、トレーニングデータのパターンと一致しているためであり、トレーニングデータの分布がバイアス感受性を決定づけていると考えられる。
• BBNLIベンチマークは、スイップロジックを含む複雑な論理構造を含む3つのドメインにわたり、16の有害な社会的ステレオタイプを効果的に捉えている。
• 本研究は、入力形式がバイアス軽減のための有効な制御要因となり得ることを示しており、トレーニングデータとは異なるNLI形式はT0におけるバイアスを低減する結果をもたらした。
• BBNLIおよび関連データセットの公開により、今後のマルチタスクおよびゼロショット一般化設定におけるバイアス研究が可能になった。