[论文解读] Context Aware Machine Learning

Yun Zeng|arXiv (Cornell University)|Jan 10, 2019

Domain Adaptation and Few-Shot Learning参考文献 64被引用 7

一句话总结

本文通过将条件概率分布分解为与上下文无关和与上下文相关的两部分，提出了一种统一的概率框架，用于上下文感知的机器学习。该方法引入了一种新的嵌入分解公式（EDF），将嵌入分解为两个加权向量。该方法通过提供一种有理论基础的、原则性的重新设计，改进了现有模型（如句子嵌入、注意力机制和LSTM），显著提升了性能，并实现了更快的收敛速度。

ABSTRACT

We propose a principle for exploring context in machine learning models. Starting with a simple assumption that each observation may or may not depend on its context, a conditional probability distribution is decomposed into two parts: context-free and context-sensitive. Then by employing the log-linear word production model for relating random variables to their embedding space representation and making use of the convexity of natural exponential function, we show that the embedding of an observation can also be decomposed into a weighted sum of two vectors, representing its context-free and context-sensitive parts, respectively. This simple treatment of context provides a unified view of many existing deep learning models, leading to revisions of these models able to achieve significant performance boost. Specifically, our upgraded version of a recent sentence embedding model not only outperforms the original one by a large margin, but also leads to a new, principled approach for compositing the embeddings of bag-of-words features, as well as a new architecture for modeling attention in deep neural networks. More surprisingly, our new principle provides a novel understanding of the gates and equations defined by the long short term memory model, which also leads to a new model that is able to converge significantly faster and achieve much lower prediction errors. Furthermore, our principle also inspires a new type of generic neural network layer that better resembles real biological neurons than the traditional linear mapping plus nonlinear activation based architecture. Its multi-layer extension provides a new principle for deep neural networks which subsumes residual network (ResNet) as its special case, and its extension to convolutional neutral network model accounts for irrelevant input (e.g., background in an image) in addition to filtering.

研究动机与目标

• 为机器学习中的上下文建模建立一个原则性、基于概率论的理论基础。
• 解决现有模型（如句子嵌入和LSTM）中启发式假设的局限性。
• 基于指数族分布，将多种深度学习架构统一于单一理论框架之下。
• 提出一种新的嵌入分解公式（EDF），以分离与上下文无关和与上下文相关的组件。
• 通过上下文感知的架构改进，实现对现有模型的性能提升。

提出的方法

• 在条件概率分布中引入指示变量，以区分与上下文无关和与上下文相关的组件。
• 应用对数线性词生成模型，将随机变量与其嵌入空间表示相关联。
• 利用自然指数族的凸性，推导出嵌入分解公式（EDF），将嵌入表示为与上下文无关和与上下文相关向量的加权和。
• 定义一种上下文感知的加权函数（χ-函数），用于确定每个样本的上下文无关程度。
• 利用EDF对现有模型（如注意力机制、LSTM和残差网络）进行重构，生成上下文感知的变体。
• 设计一种受生物神经元启发的新型通用神经网络层，利用χ-函数在恒等变换与非线性变换之间进行门控。

实验结果

研究问题

• RQ1 如何利用概率论在机器学习中形式化且通用地建模上下文？
• RQ2 能否推导出一个统一框架，通过上下文感知的分解方式重新解释并改进多种深度学习模型？
• RQ3 将嵌入分解为与上下文无关和与上下文相关组件的理论基础是什么？
• RQ4 所提出的EDF如何提升注意力机制、RNN和CNN的性能？
• RQ5 上下文感知架构是否能在收敛速度和预测准确率方面超越其原始版本？

主要发现

• 所提出的上下文感知模型显著优于原始的Arora等人（2017）句子嵌入模型，在基准数据集上实现了显著的性能提升。
• 改进后的LSTM变体收敛速度明显更快，且预测误差显著降低，优于原始架构。
• 基于EDF推导出的新注意力机制，支持纯注意力RNN架构，其性能与标准RNN相当或更优。
• 上下文感知残差网络（CA-ResNet）将原始ResNet作为特例包含在内，并通过显式建模上下文提升了性能。
• 所提出的CA-CNN架构能自然地计算图像显著性图，从而更有效地处理背景噪声等无关输入。
• 在现有模型中，将标准层替换为上下文感知层，可在无需大规模架构重构的前提下，在多个基准上实现显著的性能提升。