[论文解读] GLoMo: Unsupervisedly Learned Relational Graphs as Transferable Representations

Zhilin Yang, Junbo Zhao+5 more|arXiv (Cornell University)|Jun 14, 2018

Advanced Graph Neural Networks参考文献 44被引用 30

一句话总结

GLoMo 提出了一种无监督框架，从大规模未标注数据中学习可迁移的、与任务无关的关系图，其中神经网络预测捕捉输入单元（如词语或像素）之间依赖关系的亲和力矩阵。当与各种特征表示（包括预训练嵌入和图像特征）结合时，这些图在多种自然语言处理和视觉任务中均能提升性能，展现出强大的泛化能力和超越训练数据的迁移性。

ABSTRACT

Modern deep transfer learning approaches have mainly focused on learning generic feature vectors from one task that are transferable to other tasks, such as word embeddings in language and pretrained convolutional features in vision. However, these approaches usually transfer unary features and largely ignore more structured graphical representations. This work explores the possibility of learning generic latent relational graphs that capture dependencies between pairs of data units (e.g., words or pixels) from large-scale unlabeled data and transferring the graphs to downstream tasks. Our proposed transfer learning framework improves performance on various tasks including question answering, natural language inference, sentiment analysis, and image classification. We also show that the learned graphs are generic enough to be transferred to different embeddings on which the graphs have not been trained (including GloVe embeddings, ELMo embeddings, and task-specific RNN hidden unit), or embedding-free units such as image pixels.

研究动机与目标

• 超越基于特征的迁移学习，从无标签数据中学习通用的、与任务无关的关系图。
• 将图结构与特征表示解耦，使图可被应用于不同类型的特征。
• 开发一种数据驱动的无监督方法，学习能捕捉长距离依赖关系的通用关系结构。
• 通过使用包括嵌入和原始像素在内的多样化输入表示，证明所学图在下游任务中的可迁移性。
• 在自然语言和视觉领域验证该框架的有效性，展示其在原始训练模态之外的泛化能力。

提出的方法

• 在大规模无标签序列上联合训练图预测网络 $g$ 和特征预测网络 $f$，使用对比损失以促进预测表示与真实表示对齐。
• 学习一个非对称、有向、加权的亲和力矩阵 $\mathbf{G}$，其中每个条目 $G_{ij}$ 编码输入单元 $x_i$ 和 $x_j$ 之间的依赖关系，并通过列归一化保证计算稳定性。
• 将图预测与特征学习解耦，使同一图结构可应用于不同类型的特征（如 GloVe、ELMo、RNN 隐状态、图像像素）。
• 使用多头层次化图表示以建模多尺度依赖关系，提升表达能力。
• 通过与特定任务特征的矩阵乘法应用所学图，生成具有结构感知能力的表示。
• 使用序列预测目标和单元级目标进行优化，以促使模型学习有意义、稀疏且可解释的关系模式。

实验结果

研究问题

• RQ1 从无标签数据中无监督学习关系图，能否产生可迁移的表示并提升下游任务性能？
• RQ2 同一关系图结构能否有效应用于包括预训练嵌入和原始像素在内的多样化输入表示？
• RQ3 架构选择（如稀疏性、层次结构和解耦）如何影响所学图的质量与泛化能力？
• RQ4 所学图在语言和视觉任务中能在多大程度上捕捉长距离依赖？
• RQ5 在多样化的自然语言处理和视觉基准测试中，基于图的表示能否优于或补充传统的基于特征的迁移学习？

主要发现

• GLoMo 通过将所学关系图与特定任务特征结合，在多项自然语言处理任务（包括问答、自然语言蕴含和情感分析）中提升了性能。
• 该框架在不同特征类型（包括 GloVe 嵌入、ELMo 表示和特定任务的 RNN 隐状态）上均表现出一致的性能增益，证明了其强大的可迁移性。
• 当应用于像素级特征时，GLoMo 同样提升了图像分类性能，表明其在自然语言之外的视觉任务中也具备泛化能力。
• 所学图具有稀疏性和层次性，能够捕捉与人类标注结构（如依存树）一致的有意义长距离依赖。
• 图预测器的注意力权重可视化显示，模型能够有效连接关键点像素，表明其对结构关系建模的有效性。
• 消融实验证实，图与特征的解耦、稀疏性以及单元级目标对学习通用且高效的图结构至关重要。