[论文解读] Low-Resource Task-Oriented Semantic Parsing via Intrinsic Modeling

Shrey Desai, Akshat Shrivastava+2 more|arXiv (Cornell University)|Apr 15, 2021

Topic Modeling参考文献 20被引用 12

一句话总结

本文提出一种基于库存的内在建模方法，用于低资源任务导向语义解析，通过将本体标签属性（类型、跨度）编码到结构化库存中，提升样本效率。在仅使用新领域10个样本进行微调的情况下，该模型在预训练序列到序列Transformer上表现优于复制-生成基线模型15%的EM绝对值（相对提升44%）。

ABSTRACT

Task-oriented semantic parsing models typically have high resource requirements: to support new ontologies (i.e., intents and slots), practitioners crowdsource thousands of samples for supervised fine-tuning. Partly, this is due to the structure of de facto copy-generate parsers; these models treat ontology labels as discrete entities, relying on parallel data to extrinsically derive their meaning. In our work, we instead exploit what we intrinsically know about ontology labels; for example, the fact that SL:TIME_ZONE has the categorical type "slot" and language-based span "time zone". Using this motivation, we build our approach with offline and online stages. During preprocessing, for each ontology label, we extract its intrinsic properties into a component, and insert each component into an inventory as a cache of sorts. During training, we fine-tune a seq2seq, pre-trained transformer to map utterances and inventories to frames, parse trees comprised of utterance and ontology tokens. Our formulation encourages the model to consider ontology labels as a union of its intrinsic properties, therefore substantially bootstrapping learning in low-resource settings. Experiments show our model is highly sample efficient: using a low-resource benchmark derived from TOPv2, our inventory parser outperforms a copy-generate parser by +15 EM absolute (44% relative) when fine-tuning on 10 samples from an unseen domain.

研究动机与目标

• 解决为新领域训练任务导向语义解析器所需的高昂数据成本，通常需要数千个标注样本。
• 克服依赖外部监督且在低资源设置下缺乏归纳偏置的复制-生成解析器的局限性。
• 通过利用本体标签的内在属性（如类别类型和自然语言跨度）提升零样本和少样本泛化能力。
• 开发一种样本高效、灵活且可解释的框架，适用于标准预训练Transformer模型，无需架构修改。
• 在基于TOPv2构建的综合性低资源基准上展示强大性能，涵盖具有高组合复杂度的挑战性领域。

提出的方法

• 从每个领域的本体标签中提取内在属性，如标签类型（例如“slot”）和自然语言跨度（例如“time zone”）。
• 构建一个领域特定的库存，作为这些标签组件的结构化集合，用作缓存的、可解释的知识源。
• 微调一个预训练的序列到序列Transformer（BART），将输入话语和其领域库存映射到由话语和本体标记组成的语义框架。
• 将本体标记视为指向库存组件的指针，而非离散的词汇项，从而让模型能够从内在属性重建它们。
• 使用编码器自注意力机制将话语跨度与相关的库存组件对齐，实现上下文感知且可解释的生成。
• 在基于TOPv2衍生的新低资源基准上，采用留一法跨领域设置进行训练和评估，每个领域包含10至250个目标样本。

实验结果

研究问题

• RQ1 本体标签的内在属性（如类型、跨度）是否可用于提升任务导向语义解析中的少样本泛化能力？
• RQ2 与标准复制-生成方法相比，将本体标签建模为其内在组件的联合体，在低资源设置下的性能如何？
• RQ3 标签类型和跨度的引入在多样化、高复杂度领域中对样本效率和鲁棒性的贡献程度如何？
• RQ4 使用预训练Transformer和结构化库存的简单、模块化方法，是否能在低资源适应中超越更复杂、任务特定的架构？
• RQ5 当标注数据量减少时，模型性能如何变化，特别是在提醒和导航等挑战性领域中？

主要发现

• 当在未见过的领域的仅10个样本上微调时，基于库存的模型比强基线复制-生成模型高出15%的EM绝对值（相对提升44%）。
• 即使使用更小的模型（139M参数），该库存解析器在大多数低资源设置下也优于更大的复制-生成模型（406M参数）。
• 该模型在TOPv2-DA基准的全部8个领域中均实现系统性改进，包括提醒和导航等高复杂度领域。
• 消融研究证实，标签类型和跨度均为关键组件，二者联合使用可带来最强的性能提升。
• 错误分析表明，预测的框架在语言上具有一致性，仅需极少修改即可达到黄金标准质量，表明其具有高精度和可解释性。
• 该方法在跨领域间泛化良好，即使目标领域具有高组合结构和大型本体，也表现出强鲁棒性。