[논문 리뷰] Natural Language in Requirements Engineering for Structure Inference -- An Integrative Review

Maximilian Vierlboeck, Carlo Lipizzi외 1명|arXiv (Cornell University)|2022. 02. 10.

Software Engineering Techniques and Practices인용 수 6

한 줄 요약

이 통합적 리뷰는 요구사항 공학 분야의 자연어에서 정보 구조를 자동으로 유추하는 데 있어 핵심적인 격차를 평가하기 위해 136개의 NLP 도구를 분석한다. 현재는 오픈소스 솔루션 중에서도 직접적이고 보편적인 정보 구조 추출을 가능하게 하는 것이 없으며, 비공개 소스 도구 역시 지도 학습 요구사항과 입력 처리 제약 등에서 한계를 보이고 있다. 이에 따라 알고리즘, 지식 기반, 텍스트 코퍼스를 개별적으로 관리할 수 있는 새로운 방법론이 필요하다.

ABSTRACT

The automatic extraction of structure from text can be difficult for machines. Yet, the elicitation of this information can provide many benefits and opportunities for various applications. Benefits have also been identified for the area of Requirements Engineering. To evaluate what work has been done and is currently available, the paper at hand provides an integrative review regarding Natural Language Processing (NLP) tools for Requirements Engineering. This assessment was conducted to provide a foundation for future work as well as deduce insights from the stats quo. To conduct the review, the history of Requirements Engineering and NLP are described as well as an evaluation of over 136 NLP tools. To assess these tools, a set of criteria was defined. The results are that currently no open source approach exists that allows for the direct/primary extraction of information structure and even closed source solutions show limitations such as supervision or input limitations, which eliminates the possibility for fully automatic and universal application. As a results, the authors deduce that the current approaches are not applicable and a different methodology is necessary. An approach that allows for individual management of the algorithm, knowledge base, and text corpus is a possibility being pursued.

연구 동기 및 목표

• 요구사항 공학 분야에서 자연어로부터 정보 구조를 추출하기 위한 현재의 NLP 도구 상태를 평가하는 것.
• 기존 오픈소스 및 비공개 소스 NLP 솔루션의 정보 구조 유추에 대한 한계를 규명하는 것.
• 현재의 NLP 도구가 요구사항 공학 분야에서 완전 자동화되고 보편적으로 적용 가능한지의 가능성을 평가하는 것.
• 기존 접근 방식의 강점과 약점을 분석하여未래 연구의 기초를 마련하는 것.
• 알고리즘, 지식 기반, 텍스트 코퍼스를 개별적으로 관리할 수 있도록 하는 새로운 방법론의 필요성을 제안하는 것.

제안 방법

• 요구사항 공학 및 정보 구조 유추와 관련된 136개의 NLP 도구에 대한 통합적 리뷰를 수행한 것.
• 각 도구의 능력과 한계를 체계적으로 평가하기 위해 평가 기준 집합을 정의한 것.
• 현재 도구 생태계를 둘러싼 맥락을 제공하기 위해 요구사항 공학 및 NLP 분야의 역사를 분석한 것.
• 자연어에서 정보 구조를 직접적으로 자동으로 추출할 수 있는 능력에 기반해 도구를 평가한 것.
• 보편적 적용을 저해하는 요인으로 지도 학습 요구사항과 입력 제약 조건을 특정한 것.
• 알고리즘, 지식 기반, 텍스트 코퍼스를 개별적으로 관리할 수 있도록 강조하는 새로운 방법론 프레임워크를 제안한 것.

실험 결과

연구 질문

• RQ1 요구사항 공학 분야에서 자연어로부터 정보 구조를 추출하기 위한 현재의 NLP 도구의 능력과 한계는 무엇인가?
• RQ2 기존의 NLP 도구들이 요구사항 텍스트에서 완전 자동화되고 보편적인 정보 구조 유추를 얼마나 잘 수행할 수 있는가?
• RQ3 기존의 오픈소스 및 비공개 소스 솔루션들이 왜 정보 구조의 직접적이고 주요한 추출을 지원하지 못하는가?
• RQ4 기존 접근 방식에 존재하는 스케일링 및 적응 가능성에 장애가 되는 방법론적 격차는 무엇인가?
• RQ5 기존 NLP 도구의 한계를 극복할 수 있는 대체 프레임워크는 무엇일 수 있는가?

주요 결과

• 현재 오픈소스 NLP 솔루션 중 자연어에서 정보 구조를 직접적이거나 주요하게 추출할 수 있는 것은 존재하지 않는다.
• 비공개 소스 도구 역시 지도 학습 요구사항과 입력 처리 제약 등에서 심각한 한계를 보이고 있다.
• 현재의 최첨단 기술 수준은 NLP를 통한 정보 구조 유추에 대해 완전 자동화되고 보편적인 적용을 지원하지 못한다.
• 알고리즘, 지식 기반, 텍스트 코퍼스가 단단히 통합되어 있어 기존 도구들은 확장성과 적응 가능성에 빈도를 보이고 있다.
• 이 리뷰는 알고리즘, 지식 기반, 텍스트 코퍼스를 개별적으로 관리할 수 있도록 하는 새로운 방법론의 긴급한 필요성을 규명한다.
• 연구 결과는 현재의 접근 방식이 요구사항 공학 워크플로우에서 실용적이고 대규모로 구현하기에는 부적절하다는 것을 시사한다.