[论文解读] Learning Character-level Compositionality with Visual Features

Frederick Liu, Lu Han+2 more|arXiv (Cornell University)|Apr 17, 2017

Natural Language Processing Techniques被引用 5

一句话总结

本文提出了一种新颖的方法，通过将字符转换为视觉图像并利用卷积神经网络（CNN）处理，以学习字符级别的组合嵌入，从而捕捉语义和视觉结构。该方法在中文、日文和韩文的低资源设置下，显著提升了对罕见字符的表示性能，在文本分类任务中优于标准字符嵌入，同时学习到连贯且基于视觉的表示。

ABSTRACT

Previous work has modeled the compositionality of words by creating character-level models of meaning, reducing problems of sparsity for rare words. However, in many writing systems compositionality has an effect even on the character-level: the meaning of a character is derived by the sum of its parts. In this paper, we model this effect by creating embeddings for characters based on their visual characteristics, creating an image for the character and running it through a convolutional neural network to produce a visual character embedding. Experiments on a text classification task demonstrate that such model allows for better processing of instances with rare characters in languages such as Chinese, Japanese, and Korean. Additionally, qualitative analyses demonstrate that our proposed model learns to focus on the parts of characters that carry semantic content, resulting in embeddings that are coherent in visual space.

研究动机与目标

• 解决在表意文字和词形复杂的语言中，低资源自然语言处理场景下的罕见字符表示问题。
• 通过利用视觉结构来建模字符级别的组合性，其中意义或发音源自其组成部分。
• 开发一种可泛化的、端到端可训练的框架，从渲染的字符图像中学习视觉嵌入。
• 评估视觉特征是否能提升下游分类任务的性能，尤其是对罕见字符的表现。
• 分析所学嵌入是否能反映字符之间的语义和视觉相似性。

提出的方法

• 每个字符通过标准字体渲染，从其Unicode表示生成高分辨率图像。
• 使用预训练的卷积神经网络（CNN）处理每个字符图像，以提取视觉特征，形成视觉字符嵌入。
• 将视觉嵌入输入循环神经网络（RNN），用于下游文本分类任务中的序列建模。
• 整个模型通过反向传播进行端到端训练，允许梯度通过CNN流动，以优化视觉特征学习。
• 在中文、日文和韩文的维基百科标题分类数据集上评估该方法，并与基于查找表的标准字符嵌入进行比较。
• 探索融合策略，将视觉嵌入与标准字符嵌入结合，以提升性能。

实验结果

研究问题

• RQ1 字符的视觉表示能否提升在低资源自然语言处理任务中对罕见字符的建模能力？
• RQ2 基于CNN的视觉嵌入方法是否能学习到有意义且具有组合一致性的表示，从而反映视觉和语义相似性？
• RQ3 在罕见字符实例上的性能方面，视觉嵌入模型与标准字符嵌入基线相比如何？
• RQ4 视觉特征在下游任务中与传统字符级别嵌入的互补程度如何？
• RQ5 模型能否通过视觉注意力机制学会聚焦于字符中具有语义相关性的部分，如汉字的部首或日文和韩文的表音部件？

主要发现

• 所提出的视觉嵌入模型在中文、日文和韩文中包含罕见字符的实例上，优于标准查找表字符嵌入基线。
• 定性分析表明，模型能够将视觉上相似的字符关联到相似的嵌入，表明在视觉空间中具有连贯的表示。
• 模型在低资源设置下表现出一致的性能提升，尤其对训练数据中频率较低的字符效果显著。
• 通过多种方法（如拼接、注意力机制）将视觉嵌入与标准字符嵌入融合，可在所有三种语言中实现一致的性能增益。
• 对于其意义或发音可由视觉组成部分（如中文的部首或日文和韩文的表音部件）组合推导出的字符，模型表现尤为出色。
• 结果表明，视觉结构编码了有意义的组合模式，且CNN能够有效从渲染的字符图像中学习这些模式。