[논문 리뷰] ARSENAL: Automatic Requirements Specification Extraction from Natural Language

Shalini Ghosh, Daniel Elenius외 4명|arXiv (Cornell University)|2014. 03. 13.

Advanced Software Engineering Methodologies참고 문헌 39인용 수 4

한 줄 요약

ARSENAL은 자연어 요구사항을 자연어 처리(NLP)와 형식적 방법을 사용하여 형식적 모델로 자동 변환하는 프레임워크이다. 이는 일관성 및 구현 가능성 검증을 가능하게 하며, 요구사항을 SAL 전이 시스템과 LTL 논리로 매핑하여 최소한의 감독으로 30개 이상의 자연어 문장으로부터 완전한 모델 생성을 달성한다. 또한 경계 모델 체킹을 통해 TTEthernet 사양에서 중요한 환경 가정이 누락된 것을 발견하였다.

ABSTRACT

Requirements are informal and semi-formal descriptions of the expected behavior of a complex system from the viewpoints of its stakeholders (customers, users, operators, designers, and engineers). However, for the purpose of design, testing, and verification for critical systems, we can transform requirements into formal models that can be analyzed automatically. ARSENAL is a framework and methodology for systematically transforming natural language (NL) requirements into analyzable formal models and logic specifications. These models can be analyzed for consistency and implementability. The ARSENAL methodology is specialized to individual domains, but the approach is general enough to be adapted to new domains.

연구 동기 및 목표

• 요구사항 공학을 위해 자연어의 명확성과 형식적 모델의 정밀성을 융합하는 방법론을 개발한다.
• 비형식적인 자연어 요구사항을 안전성 중심 시스템에서 검증에 적합한 분석 가능한 형식적 모델로 자동 변환한다.
• 사람이 참여하는 반복적 개선을 통해 설계 비용을 감소시키고 시스템 개발의 신뢰도를 높인다.
• 일반화 가능한 프레임워크를 통해 도메인 특화 요구사항을 처리하고, 새로운 도메인에 쉽게 적응할 수 있도록 한다.
• 형식적 검증을 통해 드러나지 않는 암묵적인 환경 가정을 식별한다.

제안 방법

• 도메인 특화 및 도메인 독립적인 규칙을 사용하여 자연어 요구사항을 전처리하여 용어, 산술 표현 및 복잡한 어휘를 정규화한다.
• 입력 문장 내 엔티티 간의 문법적 관계를 생성하기 위해 Stanford Typed Dependency Parser를 적용한다.
• 수동으로 정의된 타입 규칙을 가진 의미 처리기로 문법적 의존성을 의미적 술어로 매핑하여 내재된 의미를 유지한다.
• 타입화된 의존성과 의미적 주석을 기반으로 술어 그래프를 구성하여 요구사항의 논리적 구조를 표현한다.
• 술어 그래프를 중간 형식 표현으로 변환한 후, 이를 SAL 전이 시스템과 LTL 공식으로 매핑한다.
• 경계 모델 체킹을 사용하여 생성된 형식적 모델이 지정된 시간 논리 성질을 만족하는지 검증한다.

실험 결과

연구 질문

• RQ1 최소한의 인간 감독으로 자연어 요구사항을 체계적이고 정확하게 형식적 모델로 변환할 수 있는가?
• RQ2 생성된 형식적 모델이 원래의 자연어 기술서에 드러나지 않는 모순이나 누락된 가정을 탐지할 수 있는가?
• RQ3 ARSENAL 파이프라인은 대규모 자연어 요구사항 집합으로부터 완전하고 분석 가능한 모델을 얼마나 효과적으로 생성하는가?
• RQ4 ARSENAL은 문서에 기록되지 않은 중요한 검증을 위한 암묵적인 환경 제약 조건을 드러낼 수 있는가?
• RQ5 최소한의 재구성으로 새로운 도메인에 프레임워크를 얼마나 잘 적응시킬 수 있는가?

주요 결과

• ARSENAL은 안전성 중심 도메인에서 30개 이상의 자연어 요구사항으로부터 완전한 형식적 모델을 성공적으로 생성하여 단순한 예제를 넘는 확장성을 입증하였다.
• 이 프레임워크는 TTEthernet 사양에서 누락된 가정을 발견하였다: 종단 시스템이 무한히 자주 coldstart_frames를 수신하지 않는다는 가정으로, 이는 상태 전이 검증에 필수적이었다.
• 생성된 모델에 대한 경계 모델 체킹을 통해 로컬 타이머 리셋이 ES_FLOOD_state에서의 탈출을 방해하는 반례가 드러났으며, 이는 모델의 정확성이 누락된 가정 하에만 성립한다는 것을 입증하였다.
• 타입 규칙을 적용한 의미 처리기는 복잡한 언어적 구조를 형식적 술어로 정확하게 매핑하면서 LTL 의미를 유지하는 데 기여하였다.
• NL 입력에서 형식적 모델 및 검증까지의 엔드 투 엔드 자동화를 달성하여 초기 설계 단계에서의 수작업을 줄였다.
• 자동화된 자연어 요구사항의 형식화가 자연어만으로는 쉽게 간과되는 미세하지만 결정적인 시스템 동작 결함을 드러낼 수 있음을 입증하였다.