[論文レビュー] Collecting Entailment Data for Pretraining: New Protocols and Negative Results.

Samuel R. Bowman, Jennimaria Palomaki+2 more|arXiv (Cornell University)|Apr 24, 2020

Topic Modeling参考文献 28被引用数 11

ひとこと要約

本稿では、自然言語理解の事前学習を改善するために、テキスト entailment (NLI) データを収集するための4つの新しいプロトコルを提案する。アノテーションのしやすさを向上させ、特にシード文を用いることでアーチファクトを低減したが、いずれの新手法も、転移性能において標準的な MNLI ベースラインを上回ることはできず、事前学習データ品質の向上には失敗したという否定的な結果が得られた。

ABSTRACT

Textual entailment (or NLI) data has proven useful as pretraining data for tasks requiring language understanding, even when building on an already-pretrained model like RoBERTa. The standard protocol for collecting NLI was not designed for the creation of pretraining data, and it is likely far from ideal for this purpose. With this application in mind, we propose four alternative protocols, each aimed at improving either the ease with which annotators can produce sound training examples or the quality and diversity of those examples. Using these alternatives and a simple MNLI-based baseline, we collect and compare five new 8.5k-example training sets. Our primary results are solidly negative, with our baseline MNLI-style dataset yielding good transfer performance, but none of our four new methods (nor the recent ANLI) showing any improvements on that baseline. However, we do observe that all four of these interventions, especially the use of seed sentences for inspiration, reduce previously observed issues with annotation artifacts.

研究の動機と目的

• 事前学習言語モデルに特化した、テキスト entailment (NLI) データ収集の改善されたプロトコルを設計すること。
• 特に高リソース環境においてよく見られる問題である、NLIデータ収集におけるアノテーションアーチファクトを低減すること。
• 代替的なデータ収集手法が、標準的な MNLI スタイルのプロトコルよりも優れた一般化性能を示すかどうかを評価すること。
• シード文や構造化プロンプティングが、アノテーション品質と多様性に与える影響を評価すること。
• 最近のベンチマーク（ANLI）が、事前学習に用いる際、標準的な MNLI よりも優れた利点を有するかどうかを検証すること。

提案手法

• 4つの代替的なNLIデータ収集プロトコルを設計し、それぞれがアノテーションの明確さ、多様性、または使いやすさの向上に焦点を当てた。
• 各プロトコルは異なる戦略を採用した：(1) 直接的な文のペア、(2) テンプレートを用いた文のペア、(3) 靈感を得るためのシード文、(4) 制約付きの構造化プロンプティング。
• すべてのプロトコルを用いて、5つの新しい8.5k例のNLIデータセットを収集し、すべてのデータセットをRoBERTaベースのMNLIスタイルのベースラインで訓練および評価した。
• 下流のNLUタスク（RTE、SNLI、テキスト類似度ベンチマークなど）におけるゼロショット転移性能を比較することで、データセットを評価した。
• 特にモデルのショートカット学習を示唆するパターンに注目し、プロトコル間でのアノテーションアーチファクトの測定と比較を実施した。
• 最近のANLIベンチマークとの比較を含め、新プロトコルの性能を評価した。

実験結果

リサーチクエスチョン

• RQ1 代替的なNLIデータ収集プロトコルは、標準的なMNLIプロトコルと比較して、下流タスクの転移性能を向上させることができるか？
• RQ2 新プロトコルは、モデルの一般化性能を損なうアノテーションアーチファクトをどの程度低減できるか？
• RQ3 シード文を用いたインスピレーションが、より高品質または多様性の高いentailment例を生み出すか？
• RQ4 構造化プロンプティングやテンプレートベースの手法は、アノテーションの一貫性と品質を向上させるか？
• RQ5 事前学習に用いる際、ANLIベンチマークは標準的なMNLIスタイルのデータを上回る性能を示すか？

主な発見

• 標準的なMNLIスタイルのデータセットが、評価されたすべてのデータセット（新プロトコル由来およびANLIを含む）の中で最も高い転移性能を達成した。
• 4つの新プロトコルすべてが、以前に観察されたアノテーションアーチファクトを低減したが、特にシード文手法が誤ったパターンの低減で顕著な改善を示した。
• アノテーション品質の向上とアーチファクトの低減にもかかわらず、いずれの新プロトコルにおいても、下流タスクの転移性能に顕著な向上は見られなかった。
• シード文の使用は、アノテーターの一貫性を著しく向上させ、表面的な手がかりへの依存を減少させた。これは、意味的推論とのより良い整合性を示唆している。
• ANLIベンチマークは、設計上より難しい例を想定しているが、この事前学習の文脈では、標準的なMNLIベースラインを上回ることはできなかった。
• 結果から、現在のNLIデータ収集プロトコルは、すでに事前学習においてほぼ最適に近い状態に達している可能性があり、さらなる改善の余地は限られていることが示唆された。