[论文解读] Assessing the Linguistic Productivity of Unsupervised Deep Neural Networks

Lawrence Phillips, Nathan O. Hodas|arXiv (Cornell University)|Jun 6, 2017

Topic Modeling参考文献 26被引用 4

一句话总结

本研究评估了无监督深度自编码器是否能通过学习组合限定词与新名词表现出语言产出性，发现当使用足够高的丢弃率时，该模型生成新名词-限定词组合的速率与成人言语相当，表明深度学习在建模通用领域语言习得方面具有潜力。

ABSTRACT

Increasingly, cognitive scientists have demonstrated interest in applying tools from deep learning. One use for deep learning is in language acquisition where it is useful to know if a linguistic phenomenon can be learned through domain-general means. To assess whether unsupervised deep learning is appropriate, we first pose a smaller question: Can unsupervised neural networks apply linguistic rules productively, using them in novel situations? We draw from the literature on determiner/noun productivity by training an unsupervised, autoencoder network measuring its ability to combine nouns with determiners. Our simple autoencoder creates combinations it has not previously encountered and produces a degree of overlap matching adults. While this preliminary work does not provide conclusive evidence for productivity, it warrants further investigation with more complex models. Further, this work helps lay the foundations for future collaboration between the deep learning and cognitive science communities.

研究动机与目标

• 探究无监督深度神经网络是否能在组合新限定词与名词方面表现出语言产出性。
• 评估自编码器是否能超越记忆的输入模式，泛化生成新颖且语法上合理的短语。
• 将模型的经验重叠分数与成人言语进行比较，以评估产出性水平。
• 探索使用深度学习模型作为认知建模工具在语言习得研究中的可行性。
• 为深度学习与认知科学社区在研究通用领域学习方面的未来合作奠定基础。

提出的方法

• 在包含限定词-名词（DET+N）搭配的成人生成英语句子语料上训练前馈自编码器。
• 在训练过程中应用10%、20%和30%的丢弃率，以促进泛化并减少过拟合。
• 通过从学习到的潜在空间采样并解码生成新句子，从训练好的自编码器生成文本。
• 将经验重叠分数计算为在生成文本中同时与'a'和'the'搭配出现的独特名词的百分比。
• 使用Yang（2011）的方法计算期望重叠分数，该方法考虑了词频分布和齐普夫缩放。
• 使用词性标注器分析生成的文本，但指出由于输出非标准或不合语法，存在局限性。

实验结果

研究问题

• RQ1 无监督自编码器模型能否生成训练数据中未出现过的新限定词-名词组合？
• RQ2 模型在'a'和'the'之间的经验重叠分数在多大程度上与成人言语相符？
• RQ3 不同丢弃率在多大程度上影响模型生成具有产出性的语言组合的能力？
• RQ4 模型的输出是否反映词频的齐普夫分布？这如何影响期望重叠计算？
• RQ5 简单自编码器能否作为认知科学中早期语言产出性建模的可行基线？

主要发现

• 30%丢弃率的自编码器实现了59.4%的经验重叠分数，与成人语料的59.3%非常接近。
• 即使词汇量减少（816个独特名词 vs. 成人1,390个），30%丢弃率的模型仍产生了与成人言语相当的重叠。
• 10%和20%丢弃率的模型分别实现了53.3%和53.4%的经验重叠分数，表明产出性稳定但略低。
• 该模型生成了训练数据中未出现的新DET+N组合，如'the head'和'the dada'，证明其超越记忆的泛化能力。
• 尽管与完美齐普夫分布存在偏差（R² = 0.86），期望重叠分数仍可计算且具信息量。
• 词性标注器错误分类了部分生成短语（如'the over'被误判为DET+N），凸显了分析神经网络模型非语法输出的挑战。