[논문 리뷰] NALABS: Detecting Bad Smells in Natural Language Requirements and Test Specifications

Kostadin Rajkovic, Eduard Paul Enoiu|arXiv (Cornell University)|2022. 02. 11.

Software Engineering Research인용 수 7

한 줄 요약

NALABS는 자연어 요구사항 및 테스트 명세서에서 모호성, 선택적 표현, 주관성, 약한 어휘 표현과 같은 품질 문제를 식별하기 위해 사전 기반 메트릭을 사용하는 도구이다. 이 도구는 규칙 기반 분석을 통해 텍스트 자료를 분석함으로써 유지보수성과 이해 가능성 문제를 조기에 발견할 수 있도록 12개의 악취 신호 지표를 자동으로 탐지한다. 이는 산업 분야의 요구사항 문서에서의 유지보수성과 이해 가능성 문제를 조기에 식별하는 데 기여한다.

ABSTRACT

In large-scale embedded system development, requirement and test specifications are often expressed in natural language. In the context of developing such products, requirement review is performed in many cases manually using these specifications as a basis for quality assurance. Low-quality specifications can have expensive consequences during the requirement engineering process. Especially, if feedback loops during requirement engineering are long, leading to artifacts that are not easily maintainable, are hard to understand, and are inefficient to port to other system variants. We use the idea of smells to specifications expressed in natural language, defining a set of specifications for bad smells. We developed a tool called NALABS (NAtural LAnguage Bad Smells), available on https://github.com/eduardenoiu/NALABS and used for automatically checking specifications. We discuss some of the decisions made for its implementation, and future work.

연구 동기 및 목표

• 자연어 요구사항 및 테스트 명세서의 품질 결함을 자동으로 탐지할 수 있는 도구의 부족을 해결하기 위해.
• 유지보수성 외에도 복잡성, 가독성, 구조적 메트릭을 포함하여 기존의 악취 신호 탐지 기능을 확장하기 위해.
• 실제 산업 현장에서 사용 가능한 실용적이고 오픈소스 도구를 제공하여 명세의 결함를 조기에 탐지하기 위해.
• 실제 산업 요구사항 문서에 악취 신호 탐지 기술의 적용 가능성을 도구 배포를 통해 검증하기 위해.
• 문서 작성자들이 문제적인 언어 패턴을 식별함으로써 요구사항 엔지니어가 명세 품질을 향상시킬 수 있도록 지원하기 위해.

제안 방법

• NALABS는 사전에 정의된 키워드 목록을 사용하는 규칙 기반 접근 방식을 통해 자연어 자료에서 12개의 구체적인 악취 신호를 탐지한다.
• Excel 형식으로 저장된 요구사항 및 테스트 명세서 문서를 처리하여 언어 패턴 매칭을 통해 문제 있는 표현을 식별한다.
• 모호성, 선택성, 주관성, 약화, 참조 가능성(NR1 및 NR2), 가독성(ARI 지수), 복잡성(단어 수 및 접속사 빈도)에 대한 메트릭을 구현한다.
• 각 악취 신호는 키워드 사전을 기반으로 점수를 매기며, 결과는 WPF 데스크톱 GUI를 통해 시각화된다.
• 도구는 C# 및 .NET을 사용하여 개발되었으며, 사전처리, 메트릭 설정, 결과 표시를 위한 모듈화된 레이어를 포함한다.
• MIT 라이선스 하에 배포되며, 오픈 액세스 및 산업 현장에서의 활용을 위해 GitHub에 공개되어 있다.

실험 결과

연구 질문

• RQ1 자연어 요구사항 및 테스트 명세서의 악취 신호를 체계적으로 자동화된 규칙 기반 방법으로 어떻게 탐지할 수 있는가?
• RQ2 산업용 임베디드 시스템에서 저품질 명세를 식별하는 데 가장 효과적인 언어적 지표는 무엇인가?
• RQ3 사전 기반 메트릭이 요구사항 자료의 유지보수성과 이해 가능성에 얼마나 기여할 수 있는가?
• RQ4 NALABS는 실제 산업 현장의 요구사항 문서에서 품질 결함를 얼마나 효과적으로 탐지하는가?
• RQ5 다양한 산업적 글쓰기 스타일과 문서 형식에 악취 신호 탐지 기술을 적용할 때 발생하는 주요 과제는 무엇인가?

주요 결과

• NALABS는 스웨덴의 대규모 제조 기업으로부터 제공받은 실제 산업 요구사항 문서에서 다수의 명세 품질 문제를 성공적으로 탐지하였다.
• 도구는 사전에 정의된 키워드 목록을 사용하여 모호성, 선택성, 주관성, 참조 가능성 등 12개의 구체적인 악취 유형을 식별하였다.
• 텍스트의 복잡성은 자동 가독성 지수(ARI)를 사용하여 평가되었으며, 높은 점수는 낮은 가독성과 높은 인지 부하를 의미한다.
• 문서 참조(NR1)와 그림/표 참조(NR2) 메트릭을 함께 포함함으로써 명세 내 종속성 관련 문제의 탐지 능력이 향상되었다.
• 도구는 산업 현장에서 실용적인 유용성을 입증하였으며, 실제 프로젝트에서 조기 검증이 이루어지고 지속적으로 개발 과정에서 활용되고 있다.
• NALABS는 오픈소스이며 GitHub에서 무료로 이용 가능하여 커뮤니티 기여와 산업 통합을 가능하게 한다.