[论文解读] Interpretable Structure-Evolving LSTM

Xiaodan Liang, Liang Lin+4 more|arXiv (Cornell University)|Mar 8, 2017

Explainable Artificial Intelligence (XAI)被引用 14

一句话总结

本文提出一种结构演化LSTM，能够在训练过程中动态学习从数据中提取的分层图结构，从而实现可解释的多层级表征，提升长距离依赖关系的建模能力。通过基于LSTM门输出对节点进行随机合并，并使用Metropolis-Hastings算法进行结构接受，该模型在语义对象解析基准测试中优于固定结构LSTM，实现了最先进的性能，同时具备更高的鲁棒性和语义抽象能力。

ABSTRACT

This paper develops a general framework for learning interpretable data representation via Long Short-Term Memory (LSTM) recurrent neural networks over hierarchal graph structures. Instead of learning LSTM models over the pre-fixed structures, we propose to further learn the intermediate interpretable multi-level graph structures in a progressive and stochastic way from data during the LSTM network optimization. We thus call this model the structure-evolving LSTM. In particular, starting with an initial element-level graph representation where each node is a small data element, the structure-evolving LSTM gradually evolves the multi-level graph representations by stochastically merging the graph nodes with high compatibilities along the stacked LSTM layers. In each LSTM layer, we estimate the compatibility of two connected nodes from their corresponding LSTM gate outputs, which is used to generate a merging probability. The candidate graph structures are accordingly generated where the nodes are grouped into cliques with their merging probabilities. We then produce the new graph structure with a Metropolis-Hasting algorithm, which alleviates the risk of getting stuck in local optimums by stochastic sampling with an acceptance probability. Once a graph structure is accepted, a higher-level graph is then constructed by taking the partitioned cliques as its nodes. During the evolving process, representation becomes more abstracted in higher-levels where redundant information is filtered out, allowing more efficient propagation of long-range data dependencies. We evaluate the effectiveness of structure-evolving LSTM in the application of semantic object parsing and demonstrate its advantage over state-of-the-art LSTM models on standard benchmarks.

研究动机与目标

• 解决固定结构LSTM在建模复杂、多层级数据相关性方面的局限性。
• 开发一种端到端联合学习分层图结构与LSTM参数的框架。
• 实现可解释的、数据驱动的图结构演化，以捕捉多层级的语义抽象。
• 通过带接受概率的随机采样，克服图结构学习中陷入局部最优的风险。
• 通过利用自适应、多尺度图拓扑结构，提升语义对象解析的性能。

提出的方法

• 从初始图开始，其中每个节点代表一个数据元素（例如，超像素），并通过边连接。
• 利用LSTM门输出估算相连节点之间的兼容性，以确定其合并概率。
• 应用Metropolis-Hastings算法，基于全局接受概率对新的图结构进行随机采样并决定是否接受。
• 通过将合并后的节点聚合成团（clique），构建更高层级的图，实现分层抽象。
• 以自底向上、逐层的方式，在堆叠的LSTM层中逐步演化图结构。
• 在端到端训练方案中集成结构演化与参数学习，实现图拓扑结构与LSTM权重的联合优化。

实验结果

研究问题

• RQ1 循环神经网络是否能在训练过程中动态演化其底层图结构，以更好地捕捉多层级数据相关性？
• RQ2 如何在LSTM框架内实现图结构演化的可解释性与可微性？
• RQ3 与确定性合并相比，采用带接受概率的随机结构演化是否能提升泛化能力并避免陷入局部最优？
• RQ4 相较于固定或预定义的图结构，自适应学习的图拓扑结构在语义对象解析任务中能多大程度上提升性能？
• RQ5 结构演化LSTM生成的多层级图表征是否能增强序列和空间数据中长距离依赖关系的建模能力？

主要发现

• 结构演化LSTM在ATR数据集上达到98.30%的平均IoU，优于Graph LSTM（97.99%）及其他SOTA模型。
• 采用带Metropolis-Hastings采样的随机策略性能更优，而确定性阈值法（如0.7阈值）尽管更鲁棒，但准确率较低。
• 模型表现出强鲁棒性，十次前向传播中性能波动极小（差异小于0.5%），表明结构演化过程稳定。
• 随着LSTM层数增加，性能持续提升，表明多层级抽象能增强解析精度；而以往模型在超过两层后性能不再提升。
• 可视化结果表明，该模型通过利用生成图结构中的多尺度上下文信息，能更准确地预测模糊标签（如裙子与连衣裙的区分）。
• 模型学习到的图结构在语义上比预定义的超像素图更一致，证明了自适应拓扑学习相较于固定、自底向上的分割方法具有显著优势。