[论文解读] Deep Learning & Software Engineering: State of Research and Future Directions.

Prémkumar Dévanbu, Matthew B. Dwyer+7 more|arXiv (Cornell University)|Sep 17, 2020

Software Testing and Debugging Techniques参考文献 97被引用 9

一句话总结

本文综合了美国国家科学基金会（NSF）资助的关于深度学习（DL）与软件工程（SE）的研讨会见解，确定了两个核心研究方向：面向深度学习的软件工程（SE4DL），聚焦于DL特定的开发工作流与抽象；以及用于软件工程的深度学习（DL4SE），利用DL自动化或增强SE任务，使用软件工件。主要贡献是一个优先级研究议程，涵盖基础挑战、故障模式、定制化架构及教育融合。

ABSTRACT

Given the current transformative potential of research that sits at the intersection of Deep Learning (DL) and Software Engineering (SE), an NSF-sponsored community workshop was conducted in co-location with the 34th IEEE/ACM International Conference on Automated Software Engineering (ASE'19) in San Diego, California. The goal of this workshop was to outline high priority areas for cross-cutting research. While a multitude of exciting directions for future work were identified, this report provides a general summary of the research areas representing the areas of highest priority which were discussed at the workshop. The intent of this report is to serve as a potential roadmap to guide future work that sits at the intersection of SE & DL.

研究动机与目标

• 识别并优先处理深度学习（DL）与软件工程（SE）交叉领域中的高影响力研究挑战。
• 定义并系统化基于深度学习的系统的新开发工作流与抽象（SE4DL），区别于传统软件工程。
• 通过设计针对任务的深度学习模型，推动DL4SE的发展，利用代码、需求和缺陷跟踪器等软件工件的结构特性。
• 解决在SE背景下调试、验证和维护深度学习系统的关键挑战。
• 通过学术-产业合作推动教育举措，培训未来开发者掌握基于深度学习的软件开发。

提出的方法

• 举办为期三天的NSF资助研讨会，邀请30名学术界与产业界研究人员，探讨DL与SE的交叉领域。
• 将讨论划分为若干小组，聚焦于DL4SE、DL系统验证与验证（V&V）、部署挑战、维护、测试及代码生成。
• 通过全体会议与迭代起草整合成果，并通过GitLab平台收集社区反馈，实现持续协作。
• 识别出四项优先研究挑战：基础SE4DL实践、故障模式分析、面向SE的定制化DL架构，以及教育材料开发。
• 通过快速演讲和专家报告确立关键主题，激发关于深度学习在SE中新兴应用的讨论。
• 建立一个托管在GitLab上的动态文档，支持社区驱动的更新与贡献。

实验结果

研究问题

• RQ1 传统软件开发与基于深度学习的开发（SE4DL）之间存在哪些根本性差异？如何形式化新的抽象与工作流？
• RQ2 在软件工程中使用的深度学习系统中最常见的故障模式是什么？如何系统性地检测与缓解？
• RQ3 如何设计深度学习模型，以有效从异构软件工件（如代码、注释、缺陷报告）中学习，同时尊重其结构与语义特性？
• RQ4 在何种方式下，可将现有实证软件工程知识与深度学习方法结合，以提升DL4SE应用？
• RQ5 如何开发并传播教育课程，以支持日益增长的对具备深度学习意识的软件工程实践的需求？

主要发现

• 研讨会确定了四项高优先级研究挑战：基础SE4DL实践、故障模式分析、面向SE的定制化DL架构，以及教育材料开发。
• 需要系统性地构建DL开发工作流与形式化抽象的分类体系，以支持SE4DL，类似于传统软件工程实践。
• 迫切需要自动化技术来检测、调试和修复DL系统中的故障，尤其是在安全关键的SE场景中。
• DL4SE研究应聚焦于能够从多样化软件工件中学习正交表示的模型，同时保留其结构语义。
• 将深度学习与现有实证SE知识相结合，并利用多模态数据（如代码+自然语言）可显著提升新任务自动化的潜力。
• 学术-产业合作对于开发反映现实世界基于深度学习的软件开发挑战的教育材料至关重要。