[论文解读] Dimension Reduction Approach for Interpretability of Sequence to Sequence Recurrent Neural Networks.

Kun Su, Eli Shlizerman|arXiv (Cornell University)|May 29, 2019

Neural Networks and Applications被引用 2

一句话总结

本文提出一种基于本征正交分解（POD）的降维技术，用于可视化和解释序列到序列RNN的隐藏状态动态。通过将编码器和解码器的隐藏状态投影到低维嵌入空间，该方法揭示了对应于不同动态模式的清晰可分聚类，其中编码器初始化轨迹，解码器形成吸引子，从而实现可解释性并评估训练最优性。

ABSTRACT

Encoder-decoder recurrent neural network models (Seq2Seq) have achieved great success in ubiquitous areas of computation and applications. It was shown to be successful in modeling data with both temporal and spatial dependencies for translation or prediction tasks. In this study, we propose a dimension reduction approach to visualize and interpret the representation of the data by these models. We propose to view the hidden states of the encoder and the decoder as spatio-temporal snapshots of network dynamics and to apply proper orthogonal decomposition to their concatenation to compute a low-dimensional embedding for hidden state dynamics. Projection of the decoder states onto such interpretable embedding space shows that Seq2Seq training to predict sequences using gradient-descent back propagation effectively performs dimension reduction consisting of only a small percentage of dimensions of the network's hidden units. Furthermore, sequences are being clustered into well separable clusters in the low dimensional space each of which corresponds to a different type of dynamics. The projection methodology also clarifies the roles of the encoder and the decoder components of the network. We show that the projection of encoder hidden states onto the low dimensional space provides an initializing trajectory directing the sequence to the cluster which corresponds to that particular type of distinct dynamics and the projection of the decoder hidden states constitutes the embedded cluster attractor. Inspection of the low dimensional space and the projections onto it during training shows that the estimation of clusters separability in the embedding can be utilized to estimate the optimality of model training. We test and demonstrate our proposed interpretability methodology on synthetic examples (dynamics on a circle and an ellipse) and on 3D human body movement data.

研究动机与目标

• 通过可视化隐藏状态动态，提升序列到序列RNN的可解释性。
• 识别隐藏状态表征中的低维结构，以捕捉关键的序列动态。
• 阐明编码器和解码器在塑造序列生成过程中的不同作用。
• 将嵌入空间中聚类的可分性用作模型训练最优性的指标。
• 在合成动态数据和真实的3D人体运动序列上验证该方法。

提出的方法

• 将编码器和解码器的隐藏状态拼接，形成表示网络动态的时空数据矩阵。
• 对拼接后的矩阵应用本征正交分解（POD），以计算捕捉主导动态模态的低维嵌入空间。
• 将解码器隐藏状态投影到POD生成的嵌入空间，揭示对应于不同动态行为的聚类吸引子。
• 将编码器隐藏状态投影到同一空间，观察引导序列朝向特定动态聚类的初始化轨迹。
• 利用投影后聚类的可分性作为模型训练质量与收敛性的代理指标。
• 在合成数据（圆形和椭圆动态）以及3D人体运动序列上验证该方法。

实验结果

研究问题

• RQ1 如何通过降维有效可视化和解释Seq2Seq RNN中隐藏状态的动态？
• RQ2 编码器和解码器在低维嵌入空间中对轨迹和吸引子动态分别发挥何种作用？
• RQ3 嵌入空间中聚类的可分性能否作为Seq2Seq模型训练最优性的指标？
• RQ4 该方法在合成数据和真实世界序列数据中揭示不同动态模式的能力如何？
• RQ5 低维表示在多大程度上保留了序列生成过程中有意义的结构与时间关系？

主要发现

• 将解码器隐藏状态投影到POD嵌入空间后，揭示出清晰可分的聚类，每个聚类对应一种特定类型的动态行为。
• 编码器隐藏状态的投影显示出引导序列朝向嵌入空间中特定动态聚类的轨迹初始化。
• 解码器状态在低维空间中形成稳定的吸引子结构，表明其收敛到特定的动态模态。
• 嵌入空间中聚类的可分性与训练质量相关，可作为模型收敛性和最优性的早期评估指标。
• 该方法成功捕捉并可视化了合成圆形和椭圆运动序列以及3D人体运动数据中的潜在动态。
• 该方法表明，通过梯度下降进行的Seq2Seq训练隐式地执行了有效的降维，仅保留原始隐藏单元维度的极小部分以表征有意义的动态。