[论文解读] ActiVis: Visual Exploration of Industry-Scale Deep Neural Network Models

Minsuk Kahng, Pierre Andrews+2 more|arXiv (Cornell University)|Apr 6, 2017

Data Visualization and Analytics参考文献 25被引用 15

一句话总结

ActiVis 是一个交互式可视化分析系统，通过统一实例级和子集级探索，结合模型架构与神经元激活的协同视图，实现对工业规模深度神经网络的深度检查。它支持对大规模数据集和模型的可扩展、灵活分析，帮助从业者通过视觉模式发现识别误分类原因，并优化模型设计。

ABSTRACT

While deep learning models have achieved state-of-the-art accuracies for many prediction tasks, understanding these models remains a challenge. Despite the recent interest in developing visual tools to help users interpret deep learning models, the complexity and wide variety of models deployed in industry, and the large-scale datasets that they used, pose unique design challenges that are inadequately addressed by existing work. Through participatory design sessions with over 15 researchers and engineers at Facebook, we have developed, deployed, and iteratively improved ActiVis, an interactive visualization system for interpreting large-scale deep learning models and results. By tightly integrating multiple coordinated views, such as a computation graph overview of the model architecture, and a neuron activation view for pattern discovery and comparison, users can explore complex deep neural network models at both the instance- and subset-level. ActiVis has been deployed on Facebook's machine learning platform. We present case studies with Facebook researchers and engineers, and usage scenarios of how ActiVis may work with different models.

研究动机与目标

• 解决工业界使用复杂、大规模深度神经网络时面临的可解释性挑战，这些模型常被视为黑箱。
• 克服现有可视化工具的局限性，这些工具往往仅聚焦于图像数据，缺乏对多样化数据类型和可扩展数据集的支持。
• 设计一个支持实例级和子集级探索的系统，以增强模型可解释性与调试效率。
• 确保该工具在真实机器学习平台（如 Facebook 的平台）所用的多样化模型与数据集上具备灵活性与通用性。
• 整合高层模型架构概览与详细的激活分析，以支持宏观理解与细粒度检查。

提出的方法

• 采用协同可视化界面，通过计算图概览表示模型架构，支持导航操作。
• 使用神经元激活矩阵视图，可视化神经元对特定实例或用户定义数据子集的响应。
• 支持实例激活的二维投影，以实现高层次模式发现，并支持跨类别的比较。
• 允许用户基于原始数据属性、转换后的特征或输出结果定义子集，实现灵活的多角度分析。
• 集成实时交互功能，支持选择、比较及深入钻取至单个实例和激活模式。
• 强化模型架构视图与激活视图之间的耦合，实现从高层结构到局部神经元行为的无缝导航。

实验结果

研究问题

• RQ1 可视化分析工具如何在工业环境中有效支持大规模深度神经网络的解释？
• RQ2 哪些设计模式能够实现在统一界面中对深度学习模型进行实例级与子集级探索？
• RQ3 可视化系统如何扩展以应对工业级数据集与模型的复杂性与规模？
• RQ4 协同视图在增强用户对模型行为与性能理解方面发挥什么作用？
• RQ5 可视化工具在实践中如何支持模型训练与超参数调优决策？

主要发现

• ActiVis 使用户能够通过观察稀疏激活模式识别出未被充分利用的神经元，提示存在简化模型的潜力。
• 系统发现，不同子集中相似的激活模式可突出显示具有预测意义的神经元，有助于理解模型行为。
• 案例研究显示，用户通过比较不同实例子集间的激活模式，能够检测出误分类的原因。
• 将模型架构可视化与激活分析相结合，降低了认知负荷，并加速了模型调试过程。
• 工程师反馈称，ActiVis 帮助他们就超参数调优做出更明智的决策，例如减少冗余神经元。
• 该工具已成功部署于 Facebook 的机器学习平台，并在多个团队中用于模型解释与优化。