[論文レビュー] Asking Crowdworkers to Write Entailment Examples: The Best of Bad Options

Clara Vania, Ruijie Chen+1 more|arXiv (Cornell University)|Oct 13, 2020

Topic Modeling参考文献 43被引用数 8

ひとこと要約

本論文は、自然言語推論（NLI）仮説ペアを生成するための2つの自動化手法—文書類似度と機械翻訳—が、クラウドワーカーが作成した仮説に代わるものとして評価されている。アノテーションコストの削減とデータ量の増加にもかかわらず、両手法は標準的なMNLIスタイルの書込ベースのプロトコルに比べて、NLIおよび転移学習のパフォーマンスが劣っている。結論として、高品質なNLIデータ収集においても、人間が書いた仮説が依然として最良の選択肢であるとされている。

ABSTRACT

Large-scale natural language inference (NLI) datasets such as SNLI or MNLI have been created by asking crowdworkers to read a premise and write three new hypotheses, one for each possible semantic relationships (entailment, contradiction, and neutral). While this protocol has been used to create useful benchmark data, it remains unclear whether the writing-based annotation protocol is optimal for any purpose, since it has not been evaluated directly. Furthermore, there is ample evidence that crowdworker writing can introduce artifacts in the data. We investigate two alternative protocols which automatically create candidate (premise, hypothesis) pairs for annotators to label. Using these protocols and a writing-based baseline, we collect several new English NLI datasets of over 3k examples each, each using a fixed amount of annotator time, but a varying number of examples to fit that time budget. Our experiments on NLI and transfer learning show negative results: None of the alternative protocols outperforms the baseline in evaluations of generalization within NLI or on transfer to outside target tasks. We conclude that crowdworker writing still the best known option for entailment data, highlighting the need for further data collection work to focus on improving writing-based annotation processes.

研究の動機と目的

• 自動化されたNLI仮説ペア生成手法が、データ品質においてクラウドワーカーが書いた仮説を上回るかどうかを調査すること。
• 固定されたアノテーション予算のもとで、書込を伴わないデータ収集プロトコルの費用対効果および一般化性能を評価すること。
• 自動生成がNLIデータセットにおけるアノテーションアーチファクトを減少させるか、あるいは新たなバイアスを導入するかどうかを特定すること。
• 自動生成されたNLIデータの影響を下流の転移学習タスクに評価すること。
• データ収集の改善は、人間ベースの生成の洗練か、代替の自動化パイプラインの追求のどちらに注力すべきかを同定すること。

提案手法

• 2つの代替プロトコルを提案した：(1) FAISSとRoBERTa埋め込みを用いた文書類似度に基づくペアリング、および(2) 多言語mBARTとOPUS並列コーパスを用いた翻訳ベースの生成。
• ベースラインと同一の前提ソースを用いて、5つの新しいNLIデータセット（Gigawordから2つ（ニュース）、Wikipediaから2つ（ウィキ）、WikiMatrixから1つ）を収集した。
• アノテーターが、前提と仮説のペアを事前に生成されたものに対して、帰結、矛盾、中立の関係としてラベル付けした。仮説の作成は行わなかった。
• 固定されたアノテーション予算（約15ドル/時間）を用い、データ効率を比較した。各プロトコルで、書込ベースのベースラインに比べて約2倍の例を収集した。
• 各データセットでNLIモデルを訓練・評価し、標準ベンチマーク（MNLIやGLUEなど）を用いて一般化性能と転移学習性能を評価した。
• 最終的なデータ収集の前に、複数ラウンドにわたってパイLOT実験とチューニングを実施し、ペアの品質を最適化した。

実験結果

リサーチクエスチョン

• RQ1 クラウドワーカーが書いた仮説を自動生成されたペアに置き換えることで、NLIモデルの一般化性能が向上するか？
• RQ2 自動化されたデータ収集プロトコルは、MNLIスタイルの書込ベースのベースラインよりも、NLIデータセットの一般化性能を高められるか？
• RQ3 自動生成されたNLIペアは、人間が書いた仮説と比較して、アノテーションアーチファクトを減少させるか、あるいは新たなバイアスを導入するか？
• RQ4 自動プロトコルによるデータ量の増加は、下流の転移学習タスクにおける品質低下を相殺するのに十分か？
• RQ5 完全自動化パイプラインは、データ品質およびモデルパフォーマンスの観点から、人間ベースの生成を上回れるか？

主な発見

• 書込ベースのMNLIプロトコルは、標準ベンチマークにおいて、両自動プロトコルを一貫して上回った。
• 自動生成データで訓練されたモデルは、人間が書いたデータで訓練されたモデルと比較して、GLUEやその他の下流タスクで劣る転移学習パフォーマンスを示した。
• 文書類似度ベースのプロトコル（Sim）と翻訳ベースのプロトコル（Translate）の両方とも、ベースラインに比べてモデルの正確性と一般化能力が低かった。
• 例の収集数が約2倍に増加したにもかかわらず、自動手法はモデルパフォーマンスの向上をもたらさなかった。
• 自動手法がアノテーションアーチファクトを減少させた証拠は得られず、むしろそのデータで訓練されたモデルは誤ったパターンを学習しやすくなった。
• 本研究の結論として、アノテーションアーチファクトなどの既知の問題が存在するものの、NLIデータ収集においてクラウドワーカーが書いた仮説が依然として最も優れた選択肢であるとされている。