[论文解读] Incidental Supervision: Moving beyond Supervised Learning

Dan Roth|arXiv (Cornell University)|May 25, 2020

Topic Modeling被引用 30

一句话总结

本文主张通过偶发信号进行学习——弱的、嵌入环境中的监督——以减少标注瓶颈并扩展跨任务的语义学习，提出三种偶发监督范式并将其应用于 NLP 任务。

ABSTRACT

Machine Learning and Inference methods have become ubiquitous in our attempt to induce more abstract representations of natural language text, visual scenes, and other messy, naturally occurring data, and support decisions that depend on it. However, learning models for these tasks is difficult partly because generating the necessary supervision signals for it is costly and does not scale. This paper describes several learning paradigms that are designed to alleviate the supervision bottleneck. It will illustrate their benefit in the context of multiple problems, all pertaining to inducing various levels of semantic representations from text.

研究动机与目标

• 激发在自然语言理解学习中降低标注负担的需求。
• 引入独立于特定任务存在的偶发监督信号的概念。
• 提出三种偶发监督范式并说明它们在语义表示和对齐中的应用。
• 讨论如何结合弱信号以实现对复杂、结构化表示的学习。

提出的方法

• 描述三种偶发监督场景：在数据中利用偶发线索、通过更简单的模型和知识对不完整标注进行学习，以及通过来自世界中模型行为的反馈来监督模型。
• 解释利用诸如 ESA 的语义表示和跨语言链接的 dataless 零/一-shot 风格分类。
• 在缺乏直接任务特定标签时，描述使用偶发信号进行 Wikification 和对知识库的对齐。
• 提出使用约束驱动学习和后验正则化，以使来自多个简单模型的全局决策保持一致。
• 提出一种响应驱动学习范式，即来自环境或教师的反馈引导可执行、结构化意义表示的学习。

实验结果

研究问题

• RQ1 如何在没有任务特定标注的情况下识别并利用偶发监督信号来训练模型？
• RQ2 弱的、环境驱动的反馈是否能引导复杂语义表示和结构化预测模型的学习？
• RQ3 如何将多种偶发信号整合以在如语义角色标注等结构化输出空间中实现一致、全局的决策？
• RQ4 在哪些实际的 NLP 任务中，偶发监督能在没有完全监督的情况下实现具有竞争力或可扩展的学习？

主要发现

• 偶发信号存在于数据和环境中，且可以与目标任务相关联，从而提供监督。
• dataless 及相关表示（如 ESA）在某些场景下能够在没有任务特定标签的情况下实现语义分类。
• Wikification 和跨语言对齐可以在没有直接标注的情况下，使用偶发监督信号进行训练。
• 约束驱动和多视角学习框架可以将简单模型结合起来，产生一致的全局预测。
• 响应驱动学习表明，可执行意义和环境反馈可以在没有显式意义表示的情况下监督复杂的语义解析器。
• 该方法可应用于广泛的 NLP 任务，包括文本分类、Wikification 和语义解析，具有潜在的可扩展性收益。