[논문 리뷰] nl2spec: Interactively Translating Unstructured Natural Language to Temporal Logics with Large Language Models

Matthias Cosler, Christopher Hahn외 3명|arXiv (Cornell University)|2023. 03. 08.

Software Engineering Research인용 수 6

한 줄 요약

nl2spec는 자연어 요구사항을 형식적 시간논리 명세(예: LTL)로 상호작용적으로 번역하기 위해 대규모 언어모델(LLM)을 사용하는 프레임워크이다. 입력을 사용자가 편집할 수 있는 부분 번역으로 분해함으로써 복잡하고 모호한 요구사항을 반복적 개선을 통해 86.11%의 정확도로 형식화한다. 이로 인해 수동 재작성 횟수가 감소하고 오류 수정 효율성이 향상된다.

ABSTRACT

A rigorous formalization of desired system requirements is indispensable when performing any verification task. This often limits the application of verification techniques, as writing formal specifications is an error-prone and time-consuming manual task. To facilitate this, we present nl2spec, a framework for applying Large Language Models (LLMs) to derive formal specifications (in temporal logics) from unstructured natural language. In particular, we introduce a new methodology to detect and resolve the inherent ambiguity of system requirements in natural language: we utilize LLMs to map subformulas of the formalization back to the corresponding natural language fragments of the input. Users iteratively add, delete, and edit these sub-translations to amend erroneous formalizations, which is easier than manually redrafting the entire formalization. The framework is agnostic to specific application domains and can be extended to similar specification languages and new neural models. We perform a user study to obtain a challenging dataset, which we use to run experiments on the quality of translations. We provide an open-source implementation, including a web-based frontend.

연구 동기 및 목표

• 형식적 검증 기법의 보편적 적용을 저해하는 수동으로 작성하는 오류가 많은 시스템 명세 문제를 해결하기 위해.
• LLM이 생성한 번역을 상호작용적이고 점진적으로 개선할 수 있도록 함으로써 형식 명세 작성의 인지 부담과 오류율을 줄이기 위해.
• 특히 연산자 우선순위와 의미적 모호성 문제에 대해 자연어 요구사항의 모호성을 부분 번역 편집을 통해 탐지하고 해결하기 위해.
• 특정 LLM이나 명세 언어에 종속되지 않는 프레임워크를 설계하여 STL 또는 SVA와 같은 분야로의 확장성을 확보하기 위해.
• 전문가 사용자 연구를 기반으로 한 벤치마크 데이터셋을 활용해 프레임워크의 효과성을 평가하여 정확도와 사용성 향상을 입증하기 위해.

제안 방법

• 자연어 입력을 부분 번역으로 분해하여, 각 수식 조각이 해당하는 자연어 어휘에 대응되도록 한다.
• LLM을 활용한 상호작용적 few-shot 프ompting 기법을 사용해 이러한 부분 번역을 생성하며, 사용자가 전체 번역을 다시 작성하지 않고도 추가, 편집, 삭제를 수행할 수 있도록 한다.
• 각 부분 번역에는 신뢰도 점수와 대안 제안 사항이 동반되어 오류를 반복적으로 수정하고 모호성을 해결할 수 있도록 한다.
• 예를 들어 'a가 유지되는 동안 b가 유지되거나 항상 a가 유지된다'와 같은 우선순위 모호성을 해결하기 위해 명시적인 문법 수정(예: 괄호 추가)을 통해 사용자가 편집할 수 있도록 한다.
• 백엔드는 LLM(예: Codex)을 사용해 초도 번역을 생성하며, 실질적으로 최대 3번의 번역 루프를 거쳐 사용자가 개선한다.
• 프레임워크는 웹 기반 도구로 개방형 소스로 구현되어 있으며, 다양한 시간논리 언어와의 통합을 지원한다.

실험 결과

연구 질문

• RQ1 LLM은 자연어 요구사항을 상호작용적 개선이 가능한 의미적으로 유의미한 부분 번역으로 효과적으로 분해할 수 있는가?
• RQ2 일체형 번역 대비 부분 번역 편집의 상호작용적 접근이 형식 명세 생성의 정확도와 사용성에 뚜렷한 향상을 이끌 수 있는가?
• RQ3 부분 번역 방법론은 특히 연산자 우선순위와 의미적 모호성 문제에 대해 자연어 요구사항의 모호성을 얼마나 효과적으로 해결하는가?
• RQ4 사용자가 전체 수식을 다시 작성하지 않고도 최소한의 부분 번역 수정만으로 잘못된 형식화를 얼마나 잘 수정할 수 있는가?
• RQ5 모호하고 복잡한 요구사항을 포함한 전문가 검증 기반 벤치마크 데이터셋에서 프레임워크의 종단 간 번역 정확도는 얼마인가?

주요 결과

• nl2spec는 전문가가 검증한 36개의 자연어 요구사항으로 구성된 벤치마크에서 종단 간 번역 정확도 86.11%를 달성하여 36개 중 31개를 정확히 형식화했다.
• 평균적으로 정확한 형식화를 달성하기 위해 단 1.4회의 번역 루프만 필요했으며, 20개의 잘못 번역된 사례 중 15개가 3회 이내의 루프 내에서 수정되었다.
• 부분 번역 방법론을 통해 'a가 유지되는 동안 b가 유지되거나 항상 a가 유지된다'와 같은 모호한 케이스에서 연산자 우선순위를 명확히 하기 위해 부분 번역을 편집함으로써 오류를 수정할 수 있었다.
• 'b가 다음 두 단계 동안 유지되어야 한다'와 같은 부분 번역을 'b | X b'로 수정함으로써, 초도 번역에서 잘못된 중첩이 발생했던 의미적 모호성을 해결했다.
• 수동 재작성의 필요성이 감소했다: 36개의 사례 중 오직 5개만이 전체 수동 재인코딩이 필요했고, 나머지 31개는 모두 부분 번역 편집을 통해 수정되었다.
• Codex와 같은 보다 약한 모델을 사용하더라도, 직접 프롬프팅 대비 4개의 번역 성공 사례가 더 많아져서 이 방법론의 강건성을 입증했다.