[論文レビュー] Don't Blame the Annotator: Bias Already Starts in the Annotation Instructions

Mihir Parmar, Swaroop Mishra+2 more|arXiv (Cornell University)|May 1, 2022

Topic Modeling被引用数 6

ひとこと要約

この論文は、クラウドソーシングによるNLUベンチマーク作成で使われるアノテーション指示のパターンに起因するデータバイアス「インstructioin bias（指針バイアス）」を特定する。14のベンチマークを分析した結果、アノテーション例に繰り返し現れる言語的パターン（例：「〜の名前は何ですか…」）が存在し、アノテーターによって系統的に再現され、訓練データに過剰に反映されることで、モデルがタスクの本質ではなくこれらのパターンに過適合してしまうことが明らかになった。その結果、性能評価が誇張され、一般化性能が低下する。

ABSTRACT

In recent years, progress in NLU has been driven by benchmarks. These benchmarks are typically collected by crowdsourcing, where annotators write examples based on annotation instructions crafted by dataset creators. In this work, we hypothesize that annotators pick up on patterns in the crowdsourcing instructions, which bias them to write many similar examples that are then over-represented in the collected data. We study this form of bias, termed instruction bias, in 14 recent NLU benchmarks, showing that instruction examples often exhibit concrete patterns, which are propagated by crowdworkers to the collected data. This extends previous work (Geva et al., 2019) and raises a new concern of whether we are modeling the dataset creator's instructions, rather than the task. Through a series of experiments, we show that, indeed, instruction bias can lead to overestimation of model performance, and that models struggle to generalize beyond biases originating in the crowdsourcing instructions. We further analyze the influence of instruction bias in terms of pattern frequency and model size, and derive concrete recommendations for creating future NLU benchmarks.

研究の動機と目的

• NLUベンチマークのアノテーション指示に、アノテーターが容易に検出・模倣できる繰り返しのありそうな言語的パターンが含まれるかどうかを調査すること。
• これらのパターンが、指示例から最終的な収集データセットへとどのように伝播するかを検討すること。
• 指針バイアスがモデルの性能と一般化性能に与える影響を評価すること。
• 今後のベンチマーク作成における指針バイアス低減のための実行可能な提言を提供すること。

提案手法

• 14の最近のNLUベンチマークを対象に、アノテーション指示に繰り返し現れる言語的パターンの有無を分析した。
• これらのパターンが、指示例および最終的な訓練・テストセットにおいてどれほど頻出しているかを定量化した。
• 指針パターンを含む・含まないデータサブセットを用いてBARTモデルを学習させ、性能差を測定した。
• NLP修士課程の大学院生を対象に、指示に例を提示する・しない場合のパターン多様性を比較する制御されたアンケート調査を実施した。
• 統計的分析を用いて、指針パターンの頻度とモデル性能差の相関関係を検証した。
• バイアス伝播を最小限に抑えることができる指針テンプレートの設計法を提言した。

実験結果

リサーチクエスチョン

• RQ1 NLUベンチマークのクラウドソーシングアノテーション指示には、アノテーターが容易に検出・模倣できる繰り返しのありそうな言語的パターンが含まれているか？
• RQ2 これらのパターンは、指示例から最終収集データセットへどの程度伝播しているか？
• RQ3 指針バイアスは、特に過剰評価と一般化不能性の観点から、モデル性能にどのように影響を与えるか？
• RQ4 モデルサイズは、指針バイアスへの感受性にどのように影響するか？
• RQ5 今後のベンチマーク作成において、指針バイアスを低減するための設計原則は何か？

主な発見

• 14のベンチマークにおいて、平均して73%の指示例に明確な繰り返しのありそうな言語的パターンが存在した。
• これらのパターンは収集データへと伝播しており、平均して訓練インスタンスの61%をカバーしていた。
• パターン照合例における性能は、非パターン例より顕著に高く、テストセットにおける平均差はベースモデルで27.9%、大規模モデルで22.2%であった。
• MultiRCのような一部のデータセットでは、パターン例と非パターン例の間で性能差が45.9%に達した。
• 指示例の存在により、例を表示しない場合と比較してパターン頻度が最大300%まで上昇し、言語的多様性が低下した。
• 大規模モデルは指針バイアスに対して感受性が低いが、依然として指示に現れたパターンを超えて一般化できなかった。