[论文解读] Understanding Recurrent Neural Architectures by Analyzing and Synthesizing Long Distance Dependencies in Benchmark Sequential Datasets

Abhijit Mahalunkar, John D. Kelleher|arXiv (Cornell University)|Oct 6, 2018

Neural Networks and Applications参考文献 48被引用 9

一句话总结

本文提出一个框架，通过依赖衰减曲线分析和合成序列数据中的长距离依赖（LDDs），揭示LDD复杂性取决于词汇量、数据集大小、相互作用符号数量以及符号间距离。通过生成合成的严格k-分段语言（Strictly k-Piecewise languages），作者证明依赖衰减分析可实现更优的超参数选择，并揭示了传统基准（如序列MNIST和Enwik8）的局限性。

ABSTRACT

In order to build efficient deep recurrent neural architectures, it is essential to analyze the complexityof long distance dependencies (LDDs) of the dataset being modeled. In this paper, we presentdetailed analysis of the dependency decay curve exhibited by various datasets. The datasets sampledfrom a similar process (e.g. natural language, sequential MNIST, Strictlyk-Piecewise languages,etc) display variations in the properties of the dependency decay curve. Our analysis reveal thefactors resulting in these variations; such as (i) number of unique symbols in a dataset, (ii) size ofthe dataset, (iii) number of interacting symbols within a given LDD, and (iv) the distance betweenthe interacting symbols. We test these factors by generating synthesized datasets of the Strictlyk-Piecewise languages. Another advantage of these synthesized datasets is that they enable targetedtesting of deep recurrent neural architectures in terms of their ability to model LDDs with differentcharacteristics. We also demonstrate that analysing dependency decay curves can inform the selectionof optimal hyper-parameters for SOTA deep recurrent neural architectures. This analysis can directlycontribute to the development of more accurate and efficient sequential models.

研究动机与目标

• 理解影响序列数据中长距离依赖（LDDs）的因素，这对训练高效的循环神经网络至关重要。
• 批判现有基准数据集（如序列MNIST、Enwik8）在复杂LDD表示上的不足。
• 开发一种方法，利用严格k-分段（SPk）语言生成可控的序列数据集，其LDD特性可调。
• 展示依赖衰减曲线分析如何指导最先进RNN架构的最优超参数选择。
• 倡导采用更多样化且具代表性的基准，以反映真实世界序列数据中LDD复杂性的全谱。

提出的方法

• 通过计算序列中按递增距离分隔的符号之间的互信息，生成依赖衰减曲线。
• 采用信息论度量方法，量化在不同时间或空间间隔下统计依赖性的衰减。
• 通过控制语法参数（如k、词汇量和禁止子串）生成使用严格k-分段（SPk）语言的合成数据集。
• 分析四个关键因素——词汇量、数据集大小、相互作用符号数量以及符号间距离——对LDD曲线形状的影响。
• 将依赖衰减曲线用作诊断工具，评估和比较SOTA RNN在合成与真实世界基准上的性能。
• 通过在具有不同LDD复杂性的合成数据集上测试SOTA循环架构（如LSTM），验证研究发现，并观察超参数敏感性。

实验结果

研究问题

• RQ1 哪些因素决定序列数据集中依赖衰减曲线的形状与复杂性？
• RQ2 词汇量、数据集大小、相互作用符号数量以及符号间距离如何影响长距离依赖结构？
• RQ3 标准基准数据集（如序列MNIST和Enwik8）在多大程度上反映了真实的LDD复杂性？
• RQ4 合成SPk语言数据集能否系统性地用于评估和调优RNN架构的LDD建模能力？
• RQ5 依赖衰减曲线分析如何指导最先进循环神经网络的最优超参数选择？

主要发现

• 依赖衰减曲线是一种强大的诊断工具，可揭示序列数据集的潜在语法结构和LDD特征。
• LDD受四个关键因素影响：唯一符号数量、数据集大小、相互作用符号数量以及它们之间的距离。
• 标准基准如序列MNIST和打乱的序列MNIST缺乏有意义的长距离依赖，因此不适合评估LDD建模能力。
• Enwik8表现出长尾依赖衰减曲线，具有幂律相关性，表明建模难度较高，而LSTM比马尔可夫模型更能有效处理此类数据。
• 合成SPk数据集可精确控制LDD复杂性，从而在不同依赖条件下实现对RNN架构的针对性评估。
• 依赖衰减曲线分析可指导SOTA RNN的超参数选择，直接提升模型准确率与效率。