[논문 리뷰] Using Large Language Models for Natural Language Processing Tasks in Requirements Engineering: A Systematic Guideline

Andreas Vogelsang, Jannik Fischbach|arXiv (Cornell University)|2024. 02. 21.

Software Engineering Techniques and Practices인용 수 4

한 줄 요약

이 논문은 요구사항 공학(RE) 작업에서 사전 훈련된 대규모 언어 모델(LLM)을 체계적으로 활용하기 위한 가이드라인을 제시한다. LLM의 기본 원리, 세 가지 유형의 LLM(에코더 전용, 디코더 전용, 에코더-디코더) 및 실용적인 피니튜닝 전략을 포함한다. 연구자와 실무자들이 최소한의 레이블된 데이터로도 NLP 작업에 적합한 LLM을 효과적으로 선택하고 적응시킬 수 있도록 하여, 기존의 데이터 부족 문제를 해결한다.

ABSTRACT

Large Language Models (LLMs) are the cornerstone in automating Requirements Engineering (RE) tasks, underpinning recent advancements in the field. Their pre-trained comprehension of natural language is pivotal for effectively tailoring them to specific RE tasks. However, selecting an appropriate LLM from a myriad of existing architectures and fine-tuning it to address the intricacies of a given task poses a significant challenge for researchers and practitioners in the RE domain. Utilizing LLMs effectively for NLP problems in RE necessitates a dual understanding: firstly, of the inner workings of LLMs, and secondly, of a systematic approach to selecting and adapting LLMs for NLP4RE tasks. This chapter aims to furnish readers with essential knowledge about LLMs in its initial segment. Subsequently, it provides a comprehensive guideline tailored for students, researchers, and practitioners on harnessing LLMs to address their specific objectives. By offering insights into the workings of LLMs and furnishing a practical guide, this chapter contributes towards improving future research and applications leveraging LLMs for solving RE challenges.

연구 동기 및 목표

• 요구사항 공학(RE) 분야에서 오랫동안 지속된 데이터 부족 문제를 해결하기 위해, 최소한의 레이블된 데이터로도 대규모 언어 모델(LLM)을 효과적으로 활용할 수 있도록 한다.
• 연구자와 실무자들이 단어 임bedding, 어텐션 메커니즘, 모델 아키텍처 등 LLM의 기초적인 이해를 제공한다.
• 요구사항 공학 분야의 특정 NLP 작업에 가장 적합한 LLM 유형(에코더 전용, 디코더 전용, 에코더-디코더)을 선택하고 적용하기 위한 체계적이고 의사결정 중심의 접근 방식을 제시한다.
• 프롬프트 엔지니어링, 파라미터 효율적 적응, 하이퍼파라미터 튜닝을 포함한 체계적인 피니튜닝 전략을 안내하며, 과적합 및 편향 강화와 같은 주요 위험 요소를 다룬다.
• LLM의 빠르게 변화하는 생태계와 전문적인 사전 훈련된 모델의 가용성을 고려하여, 실험적이고 유연한 LLM 사용을 지원한다.

제안 방법

• 희박성, 정적, 그리고 문맥 기반 단어 임베딩을 포함한 기초적인 NLP 개념을 소개하며, 이러한 개념이 LLM이 의미를 포착하는 데 어떻게 기여하는지 설명한다.
• 자기 어텐션 메커니즘과 트랜스포머 아키텍처를 핵심 구성 요소로 설명하여 현대 LLM에서 문맥 기반 임베딩을 가능하게 한다.
• LLM을 세 가지 유형으로 분류한다: 에코더 전용(BERT 등), 디코더 전용(GPT 등), 에코더-디코더(T5 등)로, 각각 다른 RE 분야의 NLP 작업에 적합하다.
• 텍스트 이해, 생성, 또는 순서-순서 작업과 같은 작업 요구사항에 따라 최적의 LLM 유형을 선택하는 데 도움이 되는 决책 트리(의사결정 트리)를 제안한다.
• 프롬프트 튜닝, 프리픽스 튜닝, 전체 피니튜닝을 포함한 피니튜닝 기법을 개선하며, 과적합 및 편향 강화를 방지하기 위해 정규화 및 하이퍼파라미터 최적화에 중점을 둔다.
• Hugging Face와 같은 오픈소스 모델 레포지토리의 활용을 강조하며, 40,000개 이상의 사전 훈련된 모델을 제공하여 도메인 특화 또는 작업 특화 LLM 버전에 접근할 수 있음을 설명한다.

실험 결과

연구 질문

• RQ1 요구사항 공학 분야의 특정 NLP 작업에 가장 적합한 LLM 아키텍처(에코더 전용, 디코더 전용, 또는 에코더-디코더)는 무엇인가?
• RQ2 최소한의 레이블된 데이터로 연구자와 실무자가 사전 훈련된 LLM을 어떻게 효과적으로 피니튜닝할 수 있는가?
• RQ3 LLM을 피니튜닝할 때 과적합, 편향 강화, 하이퍼파라미터 민감도 등의 주요 위험 요소는 무엇이며, 이를 어떻게 완화할 수 있는가?
• RQ4 어떤 상황에서는 LLM의 피니튜닝이 비실용적이거나 바람직하지 않은가? 그 경우 대체로 고려해야 할 접근 방식은 무엇인가?
• RQ5 빠르게 변화하는 사전 훈련된 LLM 생태계는 요구사항 공학 연구 및 실무에서 어떻게 효과적으로 활용될 수 있는가?

주요 결과

• LLM은 RE 작업에서 대규모 레이블된 데이터 세트가 필요로 하는 것을 크게 줄여주며, 10,000개 미만의 레이블 예제가 있을 경우에도 높은 품질의 자동화를 가능하게 한다. 이는 기존의 모델가 요구하는 >10,000개의 항목보다 훨씬 낮은 수준이다.
• 자기 어텐션 메커니즘을 통해 트랜스포머에서 제공하는 문맥 기반 임베딩은 같은 단어가 문맥에 따라 다른 벡터 표현을 가질 수 있도록 하여, 정적 임베딩의 핵심적 한계를 극복한다.
• LLM의 피니튜닝은 RE 작업에 효과적이지만, 드롭아웃, 가중치 감소, 조기 정지, 교차 검증 등의 기법을 통해 과적합을 철저히 관리할 필요가 있다.
• 편향 강화는 피니튜닝 중에 심각한 위험 요소이며, 피니튜닝 데이터에 기존의 편향이 존재할 경우 모델 가중치가 이를 강화할 수 있으므로, 데이터 셋의 철저한 정제와 감사 절차가 필요하다.
• 모든 LLM이 피니튜닝을 지원하는 것은 아니며, API 전용 모델이거나 빠르게 변화하거나 사용자 맞춤형 데이터를 다루는 애플리케이션의 경우 피니튜닝이 비실용적이거나 효과적이지 않을 수 있다.
• Hugging Face에 존재하는 40,000개 이상의 사전 훈련된 모델은 특정 RE 작업, 언어, 또는 도메인에 특화된 모델에 접근할 수 있도록 하여 성능 향상과 기본 모델에 대한 의존도 감소를 가능하게 한다.