[論文レビュー] Natural Language Inference with Mixed Effects

W. Horsley Gantt, Benjamin Kane+1 more|arXiv (Cornell University)|Dec 1, 2020

Topic Modeling参考文献 26被引用数 2

ひとこと要約

この論文は、ラベル集約に起因するノイズを回避するために、直接的に生の複数アノテーターによる自然言語推論（NLI）アノテーションをニューラルモデルに組み込む混合効果モデル手法を提案する。既存のニューラルアーキテクチャにアノテーター固有のランダム効果を統合することで、アノテーターのばらつきを無視する標準的手法よりもモデル性能が向上する。

ABSTRACT

There is growing evidence that the prevalence of disagreement in the raw annotations used to construct natural language inference datasets makes the common practice of aggregating those annotations to a single label problematic. We propose a generic method that allows one to skip the aggregation step and train on the raw annotations directly without subjecting the model to unwanted noise that can arise from annotator response biases. We demonstrate that this method, which generalizes the notion of a mixed effects model by incorporating annotator random effects into any existing neural model, improves performance over models that do not incorporate such effects.

研究の動機と目的

• アノテーションの不一致がNLIデータセットの信頼性を損なう問題に対処すること。
• アノテーターの反応バイアスに起因するノイズを引き起こす可能性があるラベル集約の必要性を排除すること。
• 既存の任意のニューラルNLIモデルにアノテーターのランダム効果を統合できる汎用的手法を開発すること。
• トレーニング中にアノテーター間のばらつきを明示的にモデル化することで、モデル性能を向上させること。

提案手法

• 従来の混合効果モデルを一般化し、ニューラルネットワークアーキテクチャにアノテーター固有のランダム効果を導入する。
• 各アノテーターのラベル予測をランダム効果として扱い、個々のアノテーターの傾向やバイアスを捉える。
• ラベル集約を一切行わず、生のアノテーションデータ上でエンドツーエンドに訓練することで、すべての利用可能なアノテーションデータを保持する。
• 任意のニューラルNLIモデルと互換性があり、アノテーター効果を即座に統合可能なプラグイン統合が可能である。
• 損失関数を変更し、予測ラベルに加えて、コンSENSUSからのアノテーター固有のずれも考慮する。

実験結果

リサーチクエスチョン

• RQ1 標準的な集約ベースの手法と比較して、ニューラルモデル内でアノテーターのばらつきを直接モデル化することで、NLIの性能が向上するか？
• RQ2 アノテーターのランダム効果を組み込むことで、NLIベンチマークにおけるモデルの頑健性と一般化性能にどのような影響を与えるか？
• RQ3 提案手法が、生のアノテーションデータにおけるアノテーターのバイアスの影響をどの程度軽減するか？

主な発見

• アノテーターのばらつきを考慮しないモデルと比較して、提案手法はモデル性能を向上させる。
• 集約を回避することで、トレーニングデータにおけるアノテーターの反応バイアスに起因するノイズが低減される。
• アノテーターのランダム効果の統合により、多様なアノテーションパターンにおいてより信頼性が高く安定した予測が得られる。
• 異なるニューラルアーキテクチャにわたっても一般化がうまくいくため、広範な適用可能性を示している。