[논문 리뷰] Large Language Models Based Automatic Synthesis of Software Specifications

Shantanu Mandal, Adhrik Chethan외 6명|arXiv (Cornell University)|2023. 04. 18.

Software Engineering Research인용 수 4

한 줄 요약

이 논문은 수동 문서, 주석, 포럼과 같은 비정형 자연어 자료에서 소프트웨어 사양을 자동으로 합성하는 데 BERT 기반의 시퀀스-투-시퀀스 학습을 활용하는 새로운 프레임워크인 SpecSyn을 제안한다. 이는 이전 최고 성능 도구 대비 F1 점수에서 21% 향상되었으며, 이는 이 작업에 대해 처음으로 종단간 LLM 기반 접근법을 구현한 것이다.

ABSTRACT

Software configurations play a crucial role in determining the behavior of software systems. In order to ensure safe and error-free operation, it is necessary to identify the correct configuration, along with their valid bounds and rules, which are commonly referred to as software specifications. As software systems grow in complexity and scale, the number of configurations and associated specifications required to ensure the correct operation can become large and prohibitively difficult to manipulate manually. Due to the fast pace of software development, it is often the case that correct software specifications are not thoroughly checked or validated within the software itself. Rather, they are frequently discussed and documented in a variety of external sources, including software manuals, code comments, and online discussion forums. Therefore, it is hard for the system administrator to know the correct specifications of configurations due to the lack of clarity, organization, and a centralized unified source to look at. To address this challenge, we propose SpecSyn a framework that leverages a state-of-the-art large language model to automatically synthesize software specifications from natural language sources. Our approach formulates software specification synthesis as a sequence-to-sequence learning problem and investigates the extraction of specifications from large contextual texts. This is the first work that uses a large language model for end-to-end specification synthesis from natural language texts. Empirical results demonstrate that our system outperforms prior the state-of-the-art specification synthesis tool by 21% in terms of F1 score and can find specifications from single as well as multiple sentences.

연구 동기 및 목표

• 복잡한 소프트웨어 시스템에서 수동 설정 사양 추출 과제를 해결하기 위해.
• 비정형 자료에서 유의미한 설정 규칙을 자동으로 유도함으로써 잘못된 설정으로 인한 시스템 장애를 줄이기 위해.
• 규칙 기반 또는 문법 구문 분석 방법에 의존하지 않고, 자연어 텍스트에서 직접 사양을 합성하는 종단간 프레임워크를 개발하기 위해.
• 대규모 언어 모델의 맥락 이해 능력을 활용하여 기존 사양 추출 도구를 향상시키기 위해.
• 다양한 문서 자료에서 추출된 신뢰할 수 있고 통합된 설정 규칙 소스를 시스템 관리자에게 제공하기 위해.

제안 방법

• 최적화된 BERT 기반 인코더-디코더 아키텍처를 사용하여 소프트웨어 사양 합성을 시퀀스-투-시퀀스 학습 문제로 재구성한다.
• 소프트웨어 매뉴얼, 코드 주석, 온라인 포럼에서 추출한 구성 기술 설명의 정제된 데이터셋을 기반으로 모델을 훈련한다.
• 일련의 문장을 하나의 입력 시퀀스로 조합하는 데이터 조합 기법을 활용하여 일반화 능력을 향상시키며, 복잡한 사양 추출에 대응한다.
• 이중 단계 접근법을 적용: 단일 문장 추출은 단순 규칙에 대해, 두 문장 조합은 맥락 의존적 복잡한 사양에 대해 사용한다.
• BERT의 사전 학습된 가중치를 활용한 전이 학습을 통해 설정 관련 자연어의 의미적 및 문법적 패턴을 포착한다.
• 교차 엔트로피 손실을 사용하여 모델을 최적화하고, 보류된 테스트 세트에서 F1 점수를 사용해 성능을 평가한다.

Figure 1 . Overview of SpecSyn

실험 결과

연구 질문

• RQ1 대규모 언어 모델이 비정형 자연어 텍스트에서 소프트웨어 설정 사양을 효과적으로 추출할 수 있는가?
• RQ2 LLM 기반 접근법은 전통적인 규칙 기반 또는 문법 구문 분석 방법에 비해 사양 추출에서 성능가능한가?
• RQ3 시퀀스-투-시퀀스 모델이 매뉴얼, 코드 주석, 토론 포럼 등 다양한 자료에서 얼마나 잘 일반화되는가?
• RQ4 입력 시퀀스 길이와 조합 방식이 사양 추출 정확도에 어떤 영향을 미치는가?
• RQ5 모델은 단일 문장 또는 다중 문장에서 유도된 단순 및 복잡한 사양을 모두 처리할 수 있는가?

주요 결과

• SpecSyn은 이전 최고 성능 사양 합성 도구 대비 21% 높은 F1 점수를 기록하여 성능 향상이 뚜렷하게 입증되었다.
• 모델은 단일 문장 및 다중 문장 맥락 모두에서 사양을 성공적으로 추출하였으며, 두 문장 입력은 대부분의 복잡한 사양 케이스를 커버한다.
• 데이터 조합 기법은 모델의 일반화 능력을 향상시켜 훈련 데이터가 제한된 상황에서도 더 나은 성능을 내도록 한다.
• BERT 기반 미세조정을 통해 모호하거나 맥락 의존적인 표현조차도 설정 관련 자연어를 효과적으로 이해할 수 있다.
• 두 문장 이상의 시퀀스에서는 성능이 떨어지므로, 향후 연구에서는 더 긴 맥락 모델링이 필요하다는 점을 시사한다.
• 실험 결과, LLM 기반 접근법이 전통적인 문법적 및 규칙 기반 방법보다 사양 추출 정확도에서 뛰어나다는 것이 확인되었다.

Figure 2 . SpecSyn model architecture