[논문 리뷰] Formal consistency checking over specifications in natural languages

Rongjie Yan, Chih‐Hong Cheng외 1명|arXiv (Cornell University)|2015. 03. 09.

Formal Methods in Verification참고 문헌 19인용 수 25

한 줄 요약

이 논문은 자연어 시스템 명세를 형식적 논리로 자동 번역하고 시간적 추상화를 적용한 후, 합성 기반 기법을 통해 실현 가능성 검사를 수행함으로써 자연어 시스템 명세의 일관성을 보장하는 프레임워크를 제시한다. 이 방법은 합성에 실패할 경우 문제를 일으키는 공식을 특정함으로써 불일치하는 요구사항을 식별함으로써 명세 결함을 조기에 탐지할 수 있다.

ABSTRACT

Early stages of system development involve outlining desired features such as functionality, availability, or usability. Specifications are derived from these features that concretize vague ideas presented in natural languages. The challenge for the verification and validation of specifications arises from the syntax and semantic gap between different representations and the need of automatic tools. In this paper, we present a requirement-consistency maintenance framework to produce consistent representations. The first part is the automatic translation from natural languages describing functionalities to formal logic with an abstraction of time. It extends pure syntactic parsing by adding semantic reasoning and the support of partitioning input and output variables. The second part is the use of synthesis techniques to examine if the requirements are consistent in terms of realizability. When the process fails, the formulas that cause the inconsistency are reported to locate the problem.

연구 동기 및 목표

• 초기 단계의 자연어로 작성된 시스템 명세에서의 불일치 문제를 해결하기 위해.
• 자연어 요구사항과 형식적 검증 도구 사이의 구문적 및 의미적 격차를 메우기 위해.
• 형식적 합성 기반 기법을 통해 불일치하거나 실현 불가능한 요구사항을 자동으로 탐지하기 위해.
• 불일치를 일으키는 정확한 공식을 식별함으로써 요구사항 엔지니어를 지원하기 위해.

제안 방법

• 시스템 기능의 자연어 기술을 시간적 추상화를 적용한 형식적 논리로 자동 번역하기 위해.
• 의미적 추론과 변수 분할(입력 및 출력으로의 분리)을 적용하여 번역 정확도를 향상시키기 위해.
• 번역된 요구사항이 실현 가능한지를 확인하기 위해 합성 기법을 사용하기 위해.
• 합성에 실패할 경우 불일치를 일으키는 구체적인 공식을 보고하여 타겟팅된 디버깅을 가능하게 하기 위해.
• 번역 및 합성 파이프라인을 통합하여 일관성 유지에 기여하는 유기적인 프레임워크로 통합하기 위해.
• 형식적 방법을 활용하여 명세가 단순히 일관성만 있는 것이 아니라 구현 가능한지도 보장하기 위해.

실험 결과

연구 질문

• RQ1 자연어 요구사항을 의미를 유지하면서 체계적으로 형식적 논리로 번역하는 방법은 무엇인가?
• RQ2 결과로 도출된 형식적 명세가 실현 가능하도록 보장할 수 있는 기법은 무엇인가?
• RQ3 요구사항의 불일치를 자동으로 탐지하고 국소화하는 방법은 무엇인가?
• RQ4 시간적 추상화는 요구사항 형식화 정확도 향상에 어떤 역할을 하는가?
• RQ5 이 프레임워크는 개발 주기의 후반에 명세 결함을 발견하는 위험을 줄이는 데 얼마나 효과적인가?

주요 결과

• 프레임워크는 시간적 추상화를 적용한 자연어 요구사항을 형식적 논리로 성공적으로 번역하여 형식적 분석을 가능하게 하였다.
• 의미적 추론과 입력/출력 분할 기법이 번역 과정의 정확도를 향상시켰다.
• 합성 기반 실현 가능성 검사 기법이 불일치하는 요구사항을 효과적으로 식별하였다.
• 합성에 실패할 경우 프레임워크는 불일치를 일으키는 특정 공식을 고립하여 디버깅을 보조하였다.
• 이 방법은 개발 주기의 후반에 명세 결함를 발견하는 위험을 감소시켰다.
• 번역과 합성의 통합은 초기 시스템 설계 단계에서 일관성 유지에 실용적인 파이프라인을 제공하였다.