[논문 리뷰] Technical Report on Neural Language Models and Few-Shot Learning for Systematic Requirements Processing in MDSE

Vincent Bertram, Miriam Boß외 5명|arXiv (Cornell University)|2022. 01. 01.

Software Engineering Research인용 수 2

한 줄 요약

이 논문은 자동차 시스템 엔지니어링 분야의 비형식적 자연어 요구사항을 도메인 특화의 형식적 DSL로 자동 번역하기 위해 대규모 사전 훈련된 언어 모델(예: GPT-J6B)을 소수의 예시로 미세조정하는 방법을 제안한다. 주요 기여는 고도로 정제된 번역을 달성하기 위해 10개 미만의 애너테이션된 예시로도 충분하다는 것을 입증한 점으로, 이는 인간의 노력 최소화와 높은 문법 일관성을 확보하는 바탕이 되는 스케일러블하고 자원이 적은 레거시 요구사항의 형식화를 가능하게 한다.

ABSTRACT

Systems engineering, in particular in the automotive domain, needs to cope with the massively increasing numbers of requirements that arise during the development process. To guarantee a high product quality and make sure that functional safety standards such as ISO26262 are fulfilled, the exploitation of potentials of model-driven systems engineering in the form of automatic analyses, consistency checks, and tracing mechanisms is indispensable. However, the language in which requirements are written, and the tools needed to operate on them, are highly individual and require domain-specific tailoring. This hinders automated processing of requirements as well as the linking of requirements to models. Introducing formal requirement notations in existing projects leads to the challenge of translating masses of requirements and process changes on the one hand and to the necessity of the corresponding training for the requirements engineers. In this paper, based on the analysis of an open-source set of automotive requirements, we derive domain-specific language constructs helping us to avoid ambiguities in requirements and increase the level of formality. The main contribution is the adoption and evaluation of few-shot learning with large pretrained language models for the automated translation of informal requirements to structured languages such as a requirement DSL. We show that support sets of less than ten translation examples can suffice to few-shot train a language model to incorporate keywords and implement syntactic rules into informal natural language requirements.

연구 동기 및 목표

• 자동차 시스템 엔지니어링 분야에서 일관성 없고 모호한 자연어 요구사항 문제 해결
• 자연어에서 형식적이고 구조화된 DSL로의 수작업 번역에 따른 높은 노력과 비용 감소
• 사전 훈련된 언어 모델을 활용한 소수의 예시 학습을 통해 레거시 요구사항의 스케일러블하고 자원이 적은 형식화 구현
• 모델 기반 시스템 엔지니어링(MDSE)을 지원하기 위해 추적 가능성, 일관성 향상 및 조기 오류 탐지 강화
• 특히 데이터가 제한된 소규모 팀이나 단일 프로젝트 환경에서 형식적 DSL의 산업 현장 적용 촉진

제안 방법

• 공개된 자동차 요구사항 데이터셋을 분석하여 일반적인 모호성 문제를 파악하고 도메인 특화 DSL 생성물의 기초를 마련
• 자동차 요구사항에 특화된 문법적·의미적 특성을 고려한 도메인 특화 언어(DSL) 설계로 직관적인 표현과 형식적 문법의 조화 확보
• GPT-J6B와 같은 대규모 언어 모델을 활용한 소수의 예시 학습을 통해 자연어에서 DSL로의 번역을 수행하며, 번역 패턴당 1~6개의 지원 예시만 사용
• 특정 언어 패턴(예: 조건문, 모odal 동사, 명제 논리)을 중심으로 훈련 예시를 구성하여 모델의 문법적·의미적 매핑를 안내
• 인간이 애너테이션한 번역 예시를 적용하여 분포 이탈을 최소화하고 문맥 기반 표현의 정확성을 확보
• 번역 품질 평가를 위해 인간의 레이블링(n=5명의 엔지니어)과 다수결 투표를 활용하여 신뢰성 확보 및 편향 완화

실험 결과

연구 질문

• RQ1 대규모 언어 모델을 활용한 소수의 예시 학습이 비형식적 자연어 요구사항을 형식적 도메인 특화 DSL로 정확하게 번역할 수 있는가?
• RQ2 자동차 요구사항의 다양한 언어적 구조에서 신뢰성 있고 일관성 있는 번역을 달성하기 위해 몇 개의 소수의 예시가 필요한가?
• RQ3 완전한 미세조정 없이도 사전 훈련된 언어 모델이 요구사항 엔지니어링 분야의 다양한 문법적 패턴에 대해 얼마나 잘 일반화할 수 있는가?
• RQ4 인간의 감독이 낮은 데이터 환경에서 자동 번역의 품질과 일관성에 어떤 영향을 미치는가?
• RQ5 이러한 접근법이 대규모 재애너테이션 또는 완전한 미세조정 없이도 레거시 요구사항에 효과적으로 적용될 수 있는가?

주요 결과

• GPT-J6B를 활용한 소수의 예시 학습은 번역 패턴당 1~6개의 지원 예시만으로도 높은 번역 정확도를 달성하여 낮은 데이터 환경에서의 가능성을 입증
• 조건문, 모달 동사(예: 'must', 'may'), 명제 논리(예: '≤', '≥')와 같은 복잡한 문장 구조를 높은 일관성으로 형식적 DSL 문법으로 성공적으로 번역
• 조건문 구조의 경우 6-shot 및 4-shot 설정에서 100% 정확도를 기록했으며, 1-shot 설정에서도 91%의 정확도를 달성해 강력한 소수의 예시 일반화 능력 입증
• 키워드 기반의 예시로 훈련된 경우 명제 논리 표현(예: 'equal to', 'less than or equal to')의 번역 정확도가 100%에 도달했으며, 데이터가 극히 적은 상태에서도 가능
• 변수와 범위(예: 'horn loudness ≤50dB')와 같은 의미적 요소를 정확히 추출하여 후속 추적 가능성 및 일관성 검사 기능 지원
• 인간 평가를 통해 높은 신뢰성 확보되었으며, 다수결 투표를 통해 다섯 명의 엔지니어가 결과를 검증하고 레이블링 편향을 최소화함