[论文解读] DeepTracker: Visualizing the Training Process of Convolutional Neural Networks

Dongyu Liu, Weiwei Cui+3 more|arXiv (Cornell University)|Aug 26, 2018

Explainable Artificial Intelligence (XAI)参考文献 32被引用 24

一句话总结

DeepTracker 是一个视觉分析系统，通过可视化数百万次训练迭代中的异构数据（如神经元权重、验证准确率和类别性能）来帮助专家探索深度卷积神经网络（CNN）的训练动态。它利用分层索引、小倍数图和立方体风格的相关性可视化，揭示隐藏模式与异常，显著提升了对 CNN 训练的理解与优化效果，该效果已在 ImageNet 上的 ResNet-50 训练中得到验证。

ABSTRACT

Deep convolutional neural networks (CNNs) have achieved remarkable success in various fields. However, training an excellent CNN is practically a trial-and-error process that consumes a tremendous amount of time and computer resources. To accelerate the training process and reduce the number of trials, experts need to understand what has occurred in the training process and why the resulting CNN behaves as such. However, current popular training platforms, such as TensorFlow, only provide very little and general information, such as training/validation errors, which is far from enough to serve this purpose. To bridge this gap and help domain experts with their training tasks in a practical environment, we propose a visual analytics system, DeepTracker, to facilitate the exploration of the rich dynamics of CNN training processes and to identify the unusual patterns that are hidden behind the huge amount of training log. Specifically,we combine a hierarchical index mechanism and a set of hierarchical small multiples to help experts explore the entire training log from different levels of detail. We also introduce a novel cube-style visualization to reveal the complex correlations among multiple types of heterogeneous training data including neuron weights, validation images, and training iterations. Three case studies are conducted to demonstrate how DeepTracker provides its users with valuable knowledge in an industry-level CNN training process, namely in our case, training ResNet-50 on the ImageNet dataset. We show that our method can be easily applied to other state-of-the-art "very deep" CNN models.

研究动机与目标

• 为解决缺乏详细、交互式可视化工具来理解 CNN 训练过程复杂且动态的行为这一问题。
• 使领域专家能够高效探索大规模、异构的训练日志（如权重、梯度、验证结果）在数百万次迭代中的变化。
• 支持对非常深的网络（如 ResNet-50）中逐层与按类别训练行为的对比分析。
• 识别训练过程中可能指示问题或优化机会的异常或异常模式。
• 弥合原始训练日志与可操作洞察之间的差距，以加速 CNN 开发。

提出的方法

• 采用分层索引机制，高效存储和检索大规模训练日志，实现实时跨多级细节的探索。
• 使用小倍数图来可视化关键指标（如准确率、损失）在不同训练迭代中跨层和跨类别的演变。
• 引入一种新颖的立方体风格可视化，揭示三种维度上异构数据类型（神经元权重、验证图像、训练迭代）之间的复杂相关性。
• 应用下采样策略，在保持关键动态特征的同时减少原始数据量，实现可扩展的分析。
• 采用基于规则的异常检测方法，利用滑动窗口统计量标记异常的参数或性能变化。
• 系统集成过滤、聚合与跨三个视图（验证、层、相关性）的交互式链接，支持协同探索。

实验结果

研究问题

• RQ1 专家如何有效探索数百万次迭代和数以千计参数下的 CNN 训练动态演变？
• RQ2 通过可扩展的视觉分析，能否检测到权重更新、准确率或类别性能中的隐藏模式或异常？
• RQ3 如何联合可视化异构数据类型（数值参数、图像和分类结果）以揭示复杂相关性？
• RQ4 视觉分析能否显著提升对大规模 CNN 训练（如 ImageNet 上的 ResNet-50）的理解与优化？
• RQ5 交互式视觉工具能否减少 CNN 超参数调优与模型调试中的试错负担？

主要发现

• DeepTracker 成功可视化了在 ImageNet 上训练 ResNet-50 的训练动态，训练日志超过数 TB，通过分层索引和高效数据访问实现实时交互探索。
• 立方体风格可视化有效揭示了神经元权重、验证准确率与训练迭代之间复杂的多维相关性，发现了非显而易见的关系。
• 专家通过系统提供的“裸金属”视觉编码识别出有意义的模式（包括预期与意外发现），相较于复杂视觉映射，该方法在清晰度与性能方面更受青睐。
• 系统的分层小倍数图与过滤功能使专家能够同时比较数千个实体的逐层与按类别行为。
• 基于规则的阈值异常检测成功标记出异常训练行为，如准确率突然下降或权重饱和，这些结果后经领域专家验证。
• 系统表现出强大的可扩展性，可实时分析数十个层和图像类别，但在极端规模下（数百或数千个小倍数图）性能有所下降。