[论文解读] DLPaper2Code: Auto-generation of Code from Deep Learning Research Papers

Akshay Sethi, Anush Sankaran+3 more|arXiv (Cornell University)|Nov 9, 2017

Software Engineering Research被引用 7

一句话总结

DLPaper2Code 提出了一种自动化系统，通过分析深度学习研究论文中神经网络架构的可视化图，自动生成机器可读的代码。该方法利用预训练 VGG19 模型提取的特征，结合深度神经网络分类器，在将深度学习图与非机器学习图分类时达到 93.7% 的准确率，在五类图类型的细粒度分类中达到 88.6% 的准确率，展示了在解析和理解深度学习模型示意图以支持代码生成方面的强大性能。

ABSTRACT

With an abundance of research papers in deep learning, reproducibility or adoption of the existing works becomes a challenge. This is due to the lack of open source implementations provided by the authors. Further, re-implementing research papers in a different library is a daunting task. To address these challenges, we propose a novel extensible approach, DLPaper2Code, to extract and understand deep learning design flow diagrams and tables available in a research paper and convert them to an abstract computational graph. The extracted computational graph is then converted into execution ready source code in both Keras and Caffe, in real-time. An arXiv-like website is created where the automatically generated designs is made publicly available for 5,000 research papers. The generated designs could be rated and edited using an intuitive drag-and-drop UI framework in a crowdsourced manner. To evaluate our approach, we create a simulated dataset with over 216,000 valid design visualizations using a manually defined grammar. Experiments on the simulated dataset show that the proposed framework provide more than $93\%$ accuracy in flow diagram content extraction.

研究动机与目标

• 通过解析神经网络的视觉表示，实现在深度学习研究论文图中自动生成功能代码。
• 解决从学术论文中常见的非结构化、视觉多样性图类型中提取结构化模型信息的挑战。
• 开发一种稳健的分类系统，能够区分研究论文中深度学习模型图与其他科学图。
• 实现对特定图类型（如 2D 方框、3D 方框、流水线图）的细粒度分类，以支持准确的代码重构。
• 使用真实世界的研究论文数据，评估多种分类器在粗粒度与细粒度图分类任务中的性能。

提出的方法

• 使用预训练的 VGG19 模型的 fc2 层，从 30,987 张从学术论文中提取的图中提取视觉特征。
• 在这些特征上训练一个两隐藏层的前馈神经网络（NNet）分类器，以区分深度学习图与非机器学习图。
• 将相同的 NNet 分类器应用于五类图类型的细粒度分类：神经元图、2D 方框、堆叠 2D 方框、3D 方框和流水线图。
• 在粗粒度与细粒度任务中，将 NNet 分类器的性能与六种基线分类器（朴素贝叶斯、决策树、逻辑回归、RDF、SVM 与 RBF 核）进行比较。
• 在所有分类任务中采用 60-20-20 的划分方式，将数据分为训练集、验证集与测试集，以确保性能评估的可靠性。
• 利用视觉分析与逐步流程检测算法，从 Keras 和 Caffe 的可视化图中提取结构信息。

实验结果

研究问题

• RQ1 基于深度学习的分类器能否准确区分研究论文中深度学习模型图与其他类型图？
• RQ2 分类器在从学术论文中提取的特定深度学习图类型（如 2D 方框、3D 方框、流水线图）的细粒度分类中表现如何？
• RQ3 在从视觉表示中识别与分类深度学习架构图方面，哪种机器学习分类器表现最佳？
• RQ4 预训练模型（如 VGG19）的视觉特征在支持下游代码生成的准确图分类方面，其作用有多大？
• RQ5 逐步流程检测算法在从 Keras 和 Caffe 可视化图中提取结构信息方面的有效性如何？

主要发现

• NNet 分类器在粗粒度分类中达到 93.7% 的准确率，成功识别出 216,000 个模拟深度学习图中的 205,193 个。
• 在细粒度分类中，NNet 分类器达到 88.6% 的准确率，其中 110 个流水线图中有 93 个、562 个 3D 方框图中有 87 个被正确分类。
• 在粗粒度与细粒度分类任务中，NNet 均优于全部六种基线分类器，显示出在视觉特征上更优的泛化能力。
• NNet 在细粒度分类中的混淆矩阵显示，其在 2D 方框（184/210）与 3D 方框（87/100）类型上表现强劲，精确率与召回率均较高。
• 该模型在区分复杂视觉模式方面表现出强鲁棒性，在五类分类设置中，F1 分数为所有分类器中最高。
• 利用 VGG19 的 fc2 特征实现了有效的迁移学习，即使在细粒度设置中标注数据有限，也能实现高准确率。