[论文解读] k-FFNN: A priori knowledge infused Feed-forward Neural Networks

Sri Harsha Dumpala, Rupayan Chakraborty+1 more|arXiv (Cornell University)|Apr 24, 2017

Music and Audio Processing参考文献 11被引用 3

一句话总结

本文提出 k-FFNN，一种前馈神经网络架构，通过整合序列数据中时间关系的先验知识，使其在低资源场景下优于标准 RNN。通过将已知的时间相关性以学习函数的形式注入网络，k-FFNN 在训练数据有限时表现出与 RNN 相当或更优的性能，表明显式知识注入可减少对大规模 RNN 训练的依赖。

ABSTRACT

Recurrent neural network (RNN) are being extensively used over feed-forward neural networks (FFNN) because of their inherent capability to capture temporal relationships that exist in the sequential data such as speech. This aspect of RNN is advantageous especially when there is no a priori knowledge about the temporal correlations within the data. However, RNNs require large amount of data to learn these temporal correlations, limiting their advantage in low resource scenarios. It is not immediately clear (a) how a priori temporal knowledge can be used in a FFNN architecture (b) how a FFNN performs when provided with this knowledge about temporal correlations (assuming available) during training. The objective of this paper is to explore k-FFNN, namely a FFNN architecture that can incorporate the a priori knowledge of the temporal relationships within the data sequence during training and compare k-FFNN performance with RNN in a low resource scenario. We evaluate the performance of k-FFNN and RNN by extensive experimentation on MediaEval 2016 audio data ("Emotional Impact of Movies" task). Experimental results show that the performance of k-FFNN is comparable to RNN, and in some scenarios k-FFNN performs better than RNN when temporal knowledge is injected into FFNN architecture. The main contributions of this paper are (a) fusing a priori knowledge into FFNN architecture to construct a k-FFNN and (b) analyzing the performance of k-FFNN with respect to RNN for different size of training data.

研究动机与目标

• 解决在训练数据稀缺时 RNN 性能不佳的挑战。
• 探究先验时间关系知识是否能提升前馈神经网络在序列数据任务中的性能。
• 开发一种新型前馈神经网络架构，整合已知的时间依赖关系，且不依赖循环反馈回路。
• 在不同规模的训练数据下，对比 k-FFNN 与 RNN 及标准 FFNN 的性能。
• 证明显式知识注入可弥补序列建模中大规模数据的缺失。

提出的方法

• 通过将先验时间知识作为输入特征，修改标准 FFNN 以设计 k-FFNN。
• 使用三种不同的知识注入函数（Fn1、Fn2、Fn3）表示时间关系，每种函数编码关于序列依赖性的不同假设。
• 使用与 RNN 和 FFNN 相同的损失函数（MSE、PCC）训练 k-FFNN，以实现直接比较。
• 采用 MediaEval 2016 音频数据集进行情感影响预测，以唤醒度和效价作为回归目标。
• 在多个训练集大小（从 200 到 6814 个样本）下评估性能，以衡量数据效率。
• 使用 MSE 和皮尔逊相关系数（PCC）对比 k-FFNN 与 RNN、LSTM、BLSTM 及标准 FFNN 的性能。

实验结果

研究问题

• RQ1 能否有效将序列数据中时间关系的先验知识整合到前馈神经网络中？
• RQ2 在训练数据有限时，k-FFNN 与 RNN 的性能相比如何？
• RQ3 时间知识表示的选择（如 Fn1 与 Fn2 与 Fn3）是否显著影响 k-FFNN 的性能？
• RQ4 在 RNN 因数据不足而表现不佳的低资源环境中，k-FFNN 是否能超越 RNN？
• RQ5 随着训练数据增加，是否存在 k-FFNN 与 RNN 性能趋于收敛的饱和点？

主要发现

• 在仅使用 200 个训练样本的情况下，k-FFNN（Fn1）在唤醒度预测中达到 PCC 0.274，优于 RNN（PCC = 0.079），表现更优。
• 在使用 6814 个训练样本进行效价预测时，k-FFNN（Fn1）的 PCC 为 0.128，略高于 RNN（PCC = 0.126），显著优于 FFNN（PCC = 0.106）。
• k-FFNN（Fn1）在效价预测中的 MSE 为 0.319，低于 RNN（0.331）、LSTM（0.327）和 BLSTM（0.329），表明其回归性能更优。
• 当使用 Fn2 和 Fn3 时性能下降，PCC 分别降至 0.185 和 0.059，表明不恰当的知识表示会损害性能。
• 随着训练数据增加，k-FFNN 与 RNN 之间的性能差距缩小，两者在大规模数据下趋于收敛。
• 在所有训练集规模下，k-FFNN（Fn1）始终优于标准 FFNN，证实了知识注入的有益作用。