[論文レビュー] Discourse-Based Evaluation of Language Understanding

Damien Sileo, Tim Van-de-Cruys+2 more|arXiv (Cornell University)|Jul 19, 2019

Natural Language Processing Techniques被引用数 4

ひとこと要約

本稿では、意味の使用に基づく自然言語理解（NLU）の評価を目的とした、11の話法的焦点をもつデータセットから構成されるDiscEvalを紹介する。本稿は、現在のNLI事前学習が真に普遍的な表現を生み出すとは限らない可能性を主張し、DiscEvalを多タスク学習システムの評価ベンチマークおよび補助的学習データとして位置づけている。

ABSTRACT

We introduce DiscEval, a compilation of $11$ evaluation datasets with a focus on discourse, that can be used for evaluation of English Natural Language Understanding when considering meaning as use. We make the case that evaluation with discourse tasks is overlooked and that Natural Language Inference (NLI) pretraining may not lead to the learning really universal representations. DiscEval can also be used as supplementary training data for multi-task learning-based systems, and is publicly available, alongside the code for gathering and preprocessing the datasets.

研究の動機と目的

• NLU評価における話法的タスクの不足を是正すること。
• NLI事前学習が普遍的に適用可能な表現を生み出すという仮定に疑問を呈すること。
• 話法的評価および多タスク学習のための公開可能でキュレートされたデータセットのコンパイルを提供すること。
• 標準のNLIベンチマークを超えた、より強固で使用指向の言語表現の開発を支援すること。

提案手法

• 著者らは、11の既存の話法的焦点をもつNLUデータセットを統合し、一貫した評価ベンチマークを構築した。
• DiscEvalは、文脈における意味の理解、特に話法的推論を重視した言語モデルの理解度を評価することを目的として設計された。
• データセットコンパイルには、標準化された前処理およびデータ収集・準備のためのコードが含まれている。
• フレームワークは、多タスク学習の設定における補助的学習データとしての統合を支援する。
• 評価は、文単位の含意を超えた推論、一貫性、および実用的理解を要するタスクに焦点を当てる。
• ベンチマークはコードとともに公開されており、再現可能性およびアクセス可能性を確保している。

実験結果

リサーチクエスチョン

• RQ1 標準のベンチマークが見逃す可能性のある、NLI事前学習済みモデルにおける話法的評価の限界は何か？
• RQ2 話法に配慮したデータセットは、普遍的な言語表現の堅牢性を向上させることができるか？
• RQ3 現在のNLUモデルは、文単位の含意を超えて、話法的意味に一般化できる程度はどの程度か？
• RQ4 DiscEvalは多タスク学習システムの補助的学習データとしてどの程度効果的か？
• RQ5 話法に基づく評価は、NLUシステムにおけるより使用指向の言語理解を実現できるか？

主な発見

• DiscEvalは、NLUモデルにおける話法的理解の評価のための包括的なベンチマークを提供する。
• 話法的タスクの組み込みにより、NLI事前学習で得られた表現のギャップが明らかになった。
• DiscEvalは多タスク学習における効果的な補助的学習データとして機能し、モデルの一般化を向上させることができる。
• ベンチマークは、言語理解の評価における意味の使用の重要性を浮き彫りにした。
• データセットコンパイルおよびコードの公開により、話法に配慮したデータを用いた再現可能で大規模な評価および学習が可能になった。