[论文解读] Classification of Natural Language Processing Techniques for Requirements Engineering

Liping Zhao, Waad Alhoshan+2 more|arXiv (Cornell University)|Apr 8, 2022

Software Engineering Techniques and Practices被引用 11

一句话总结

本文将需求工程（RE）中常用的57种自然语言处理（NLP）技术，按照其在典型处理流程中的NLP任务和语言分析层级（词法、句法、语义、话语）分为两个互补框架。其主要贡献在于系统化地组织了NLP技术，形成可直接用于知识库的知识体系，以促进需求工程中工具开发与工业界的应用。

ABSTRACT

Research in applying natural language processing (NLP) techniques to requirements engineering (RE) tasks spans more than 40 years, from initial efforts carried out in the 1980s to more recent attempts with machine learning (ML) and deep learning (DL) techniques. However, in spite of the progress, our recent survey shows that there is still a lack of systematic understanding and organization of commonly used NLP techniques in RE. We believe one hurdle facing the industry is lack of shared knowledge of NLP techniques and their usage in RE tasks. In this paper, we present our effort to synthesize and organize 57 most frequently used NLP techniques in RE. We classify these NLP techniques in two ways: first, by their NLP tasks in typical pipelines and second, by their linguist analysis levels. We believe these two ways of classification are complementary, contributing to a better understanding of the NLP techniques in RE and such understanding is crucial to the development of better NLP tools for RE.

研究动机与目标

• 为解决需求工程（RE）研究与实践中对NLP技术缺乏系统性理解与共享知识的问题。
• 整合并组织需求工程中使用频率最高的NLP技术，以支持更优的工具开发与工业采纳。
• 通过双重分类（按NLP任务与语言分析层级）建立NLP技术在需求工程中的通用术语与词汇体系。
• 通过提供结构化、可查询的知识库，弥合NLP4RE研究与工业应用之间的差距。
• 为未来关于技术关系与NLP在RE中工具支持映射的研究奠定基础。

提出的方法

• 从全面的NLP4RE文献与工具调研中提取并整合了57种NLP技术。
• 根据其在典型NLP处理流程中的任务（如分词、命名实体识别、文本规范化）对技术进行分类。
• 根据其语言分析层级进行分类：音位、词法、句法、语义、话语与语用。
• 利用结构化框架与文献综述，将每项技术映射到其对应的任务与语言层级。
• 参考现有的NLP分类体系与语言学理论（如Jurafsky & Martin, 2020）以验证并构建分类层级。
• 提供表格（I–IV），支持渐进式查询：从技术本身，到其任务、替代技术，以及分析层级。

实验结果

研究问题

• RQ1 在需求工程中，哪些NLP技术使用频率最高，如何实现系统化组织？
• RQ2 需求工程中的NLP技术如何与标准NLP处理流程任务及语言分析层级相匹配？
• RQ3 某项技术的语言分析层级与其在需求工程任务中的实用性之间存在何种关系？
• RQ4 为何当前需求工程研究中缺乏语用层级的NLP技术？这对NLU在RE中的发展意味着什么？
• RQ5 通过任务与语言层级的双重分类框架，如何提升NLP工具在需求工程中的设计与采纳？

主要发现

• 识别并系统分类了57种NLP技术，构建了NLP4RE的综合性知识库。
• 未发现用于音位层级分析的NLP技术，因为NLP4RE主要处理书面文本。
• 未识别出语用层级分析的技术，表明当前NLP4RE研究尚未达到真正的自然语言理解水平。
• 按NLP任务（如分词、命名实体识别）与语言层级（从词法到话语）的分类，提供了一个双轴框架，可用于工具选择与技术比较。
• 该框架使用户能够查询：某项任务使用了何种技术、存在哪些替代技术、以及该技术在何种语言分析层级上运行。
• 研究揭示，当前NLP4RE实践高度集中于低层级语言处理（词法、句法、语义），而高层级话语与语用分析存在显著缺失。