[论文解读] Benchmarking Zero-shot Text Classification: Datasets, Evaluation and Entailment Approach

Wenpeng Yin, Jamaal Hay+1 more|arXiv (Cornell University)|Aug 31, 2019

Topic Modeling参考文献 25被引用 34

一句话总结

这篇论文在多个方面（主题、情感、情境）对零-shot 文本分类（0shot-tc）进行基准测试，标准化数据集和评估，并提出一种文本蕴含框架来在没有任务特定训练的情况下处理未见标签。

ABSTRACT

Zero-shot text classification (0Shot-TC) is a challenging NLU problem to which little attention has been paid by the research community. 0Shot-TC aims to associate an appropriate label with a piece of text, irrespective of the text domain and the aspect (e.g., topic, emotion, event, etc.) described by the label. And there are only a few articles studying 0Shot-TC, all focusing only on topical categorization which, we argue, is just the tip of the iceberg in 0Shot-TC. In addition, the chaotic experiments in literature make no uniform comparison, which blurs the progress. This work benchmarks the 0Shot-TC problem by providing unified datasets, standardized evaluations, and state-of-the-art baselines. Our contributions include: i) The datasets we provide facilitate studying 0Shot-TC relative to conceptually different and diverse aspects: the ``topic'' aspect includes ``sports'' and ``politics'' as labels; the ``emotion'' aspect includes ``joy'' and ``anger''; the ``situation'' aspect includes ``medical assistance'' and ``water shortage''. ii) We extend the existing evaluation setup (label-partially-unseen) -- given a dataset, train on some labels, test on all labels -- to include a more challenging yet realistic evaluation label-fully-unseen 0Shot-TC (Chang et al., 2008), aiming at classifying text snippets without seeing task specific training data at all. iii) We unify the 0Shot-TC of diverse aspects within a textual entailment formulation and study it this way. Code & Data: https://github.com/yinwenpeng/BenchmarkingZeroShot

研究动机与目标

• 基准评估 0shot-tc，超越主题分类，覆盖多样化方面（主题、情感、情境）。
• 提供带有 train/dev/test 划分以及 seen/unseen 类别分离的标准化数据集。
• 将评估扩展到 label-partially-unseen 和 label-fully-unseen 设置。
• 提出统一的文本蕴含表述用于 0shot-tc，以实现开放标签泛化。
• 发布数据集与代码以促进公平比较。

提出的方法

• 为三个方面创建数据集：主题检测、情感检测和情境框架检测，包含 train/dev/test 划分以及 seen/unseen 类分割。
• 引入 label-partially-unseen（标准 0shot-tc）和 label-fully-unseen（任务无关、无任务特定训练）的评估。
• 将 0shot-tc 表述成文本蕴含问题，通过将每个标签转化为给定方面的一个假设来实现。
• 使用基于 BERT 的蕴含模型（在 MNLI、FEVER、RTE 上训练）来判断候选标签的文本-假设蕴含关系。
• 使用标签名称或 WordNet 的标签定义来生成标签假设，并评估单标签和多标签设置。
• 探索将多个蕴含模型和假设生成方法结合的集成方法。

实验结果

研究问题

• RQ1 标准化数据集和评测协议是否能够在 0shot-tc 方法之间实现公平比较？
• RQ2 将 0shot-tc 框定为文本蕴含是否能够在不进行任务特定训练的情况下，在多样化方面实现有效的零-shot 分类？
• RQ3 不同的假设生成策略（词语 vs. 定义 vs. 组合）如何影响 0shot-tc 的性能？
• RQ4 使用预训练蕴含模型（MNLI、FEVER、RTE）对 label-partially-unseen 与 label-fully-unseen 设置有何影响？
• RQ5 蕴含模型和假设的集合在主题、情感和情境任务上是否具有鲁棒性？

主要发现

• 基于蕴含的 0shot-tc 方法在已观察标签上取得竞争性结果，并在主题、情感和情境上显著提升未见标签的表现。
• MNLI-based 蕴含在 label-partially-unseen 设置中通常表现最强，任务间有差异。
• 在 label-fully-unseen 设置中，RTE-based 模型在某些方面往往优于 MNLI 和 FEVER，说明数据集收集效应。
• 词语和定义的假设生成具有任务相关效应；将二者结合的集合通常产生最佳结果。
• 基于维基百科的预训练基线有助于主题检测，但对情感和情境任务效果较差。