[论文解读] From phonemes to images: levels of representation in a recurrent neural model of visually-grounded language learning

Lieke Gelderloos, Grzegorz Chrupała|arXiv (Cornell University)|Oct 11, 2016

Multimodal Machine Learning Applications参考文献 38被引用 23

一句话总结

本文提出一种堆叠门控循环神经网络，能够将音素转写后的图像描述映射到视觉特征，展示了语言结构的分层表征：低层编码音素形式和短期依赖，高层则捕捉语义意义和长程依赖。该模型成功地从原始音素到图像学习到形式-意义映射，且各层之间的抽象程度逐步提升。

ABSTRACT

We present a model of visually-grounded language learning based on stacked gated recurrent neural networks which learns to predict visual features given an image description in the form of a sequence of phonemes. The learning task resembles that faced by human language learners who need to discover both structure and meaning from noisy and ambiguous data across modalities. We show that our model indeed learns to predict features of the visual context given phonetically transcribed image descriptions, and show that it represents linguistic information in a hierarchy of levels: lower layers in the stack are comparatively more sensitive to form, whereas higher layers are more sensitive to meaning.

研究动机与目标

• 通过使用音素转写而非词级输入来模拟儿童从嘈杂的多模态输入中学习语言的过程，以建模儿童如何学习语言。
• 探究在原始感知数据上训练时，堆叠循环网络是否能够学习到从音素到意义的分层语言表征。
• 分析深层RNN的不同层如何编码形式与意义，以及时间依赖关系在各层中的表现场景。
• 评估模型通过向量表示捕捉音素相似性和语义相似性的能力。
• 探索从连续语音信号到视觉特征的端到端学习的可行性，突破传统词分割输入的限制。

提出的方法

• 该模型使用堆叠的门控循环单元（GRUs）逐个处理音素序列，在各层之间构建分布式语义表征。
• 每条句子均以MS-COCO数据集中的音素转写形式表示，并通过堆叠的GRU层顺序处理。
• 顶层GRU的最终隐藏状态被投影到图像特征空间，并通过对比损失与真实视觉特征进行比较。
• 模型通过最小化预测图像特征与实际图像特征之间的距离进行训练，从而实现形式-意义映射的端到端学习。
• 分析包括隐藏激活向量之间的余弦相似性比较、编辑距离相关性分析，以及各层中最近邻子串位置的追踪。
• 模型通过人类相似性判断、编辑距离和视觉特征重建性能进行评估。

实验结果

研究问题

• RQ1 当在音素转写和视觉输入上进行训练时，深层循环网络的不同层如何表征语言结构？
• RQ2 在基于视觉的语义学习设置中，低层在多大程度上编码音素形式，高层在多大程度上编码语义意义？
• RQ3 输入序列中的时间依赖关系在各层中如何体现，特别是在信息保持和时间尺度方面？
• RQ4 模型能否在其隐藏表征中同时学习到音素相似性和语义相似性？
• RQ5 模型的内部表征与人类对词语相似性和音素距离的判断相比如何？

主要发现

• 第一隐藏层显示出激活向量余弦相似性与音素级编辑距离之间最强的负相关性（ρ = -0.30），表明对音素形式具有高度敏感性。
• 第三隐藏层与编辑距离的负相关性较弱但仍显著（ρ = -0.15），同时与人类语义相似性判断的相关性高于与形式相似性的相关性。
• 最近邻句子之间共享子串的平均位置从第1层的末尾附近（均值位置 = 12.1）移动到第3层的开头附近（均值位置 = 16.8），表明高层具有更长的时间上下文保留能力。
• 该模型能够从音素描述中成功预测视觉特征，证明其能有效从未分割的音素序列中学习语义。
• 基于模型的余弦相似性与人类语义相似性之间的Spearman等级相关性显著（p < 1e-4），证实高层编码了有意义的表征。
• 模型顶层的激活模式可预测词边界，且在堆叠过程中从形式到意义的抽象程度逐步提升。