[論文レビュー] Using Large Language Models for Natural Language Processing Tasks in Requirements Engineering: A Systematic Guideline

Andreas Vogelsang, Jannik Fischbach|arXiv (Cornell University)|Feb 21, 2024

Software Engineering Techniques and Practices被引用数 4

ひとこと要約

本論文は、要件工学（RE）タスクにおける事前学習済み大規模言語モデル（LLM）の活用に向けた体系的ガイドラインを提示する。LLMの基礎、3種類のLLMタイプ（エンコーダー専用、デコーダー専用、エンコーダー・デコーダー型）、および実用的なファインチューニング戦略をカバーする。研究者および実務家が、最小限のラベル付きデータでLLMを効果的に選択・適応可能にし、従来のデータ不足の課題を克服する。

ABSTRACT

Large Language Models (LLMs) are the cornerstone in automating Requirements Engineering (RE) tasks, underpinning recent advancements in the field. Their pre-trained comprehension of natural language is pivotal for effectively tailoring them to specific RE tasks. However, selecting an appropriate LLM from a myriad of existing architectures and fine-tuning it to address the intricacies of a given task poses a significant challenge for researchers and practitioners in the RE domain. Utilizing LLMs effectively for NLP problems in RE necessitates a dual understanding: firstly, of the inner workings of LLMs, and secondly, of a systematic approach to selecting and adapting LLMs for NLP4RE tasks. This chapter aims to furnish readers with essential knowledge about LLMs in its initial segment. Subsequently, it provides a comprehensive guideline tailored for students, researchers, and practitioners on harnessing LLMs to address their specific objectives. By offering insights into the workings of LLMs and furnishing a practical guide, this chapter contributes towards improving future research and applications leveraging LLMs for solving RE challenges.

研究の動機と目的

• 要件工学（RE）における長年のデータ不足の課題を、最小限のラベル付きデータで効果的に大規模言語モデル（LLM）を活用できるようにすることで解決すること。
• 研究者および実務家が、単語埋め込み、アテンションメカニズム、モデルアーキテクチャなどを含むLLMの基礎的知識を習得できるようにすること。
• 特定のREにおけるNLPタスクに最も適したLLMタイプ（エンコーダー専用、デコーダー専用、エンコーダー・デコーダー型）を選択・適用するための構造的で意思決定主導のアプローチを提示すること。
• プロンプト工学、パラメータ効率的適応、ハイパーパrameterチューニングを含む、体系的なファインチューニング戦略を案内し、過学習やバイアス強化といった主なリスクに対処すること。
• LLMの動的な進化を踏まえ、実験的かつ柔軟にLLMを活用できるようにするため、LLMエコシステムの動的変化と、専用に事前学習されたモデルの可用性を強調すること。

提案手法

• スパース、スタティック、コンテキスト依存の単語埋め込みを含む、NLPの基礎的概念を紹介し、それらがLLMが意味的意味を捉えるのを可能にする役割を説明する。
• 自己アテンションメカニズムとトランスフォーマーアーキテクチャを、現代のLLMにおけるコンテキスト依存埋め込みを可能にするコアコンponentsとして説明する。
• LLMを3種類に分類する：エンコーダー専用（例：BERT）、デコーダー専用（例：GPT）、エンコーダー・デコーダー型（例：T5）、それぞれがREにおける異なるNLPタスクに適している。
• テキスト理解、生成、シーケンス・ツー・シーケンスタスクなどのタスク要件に基づき、最適なLLMタイプの選定を支援する意思決定ツリーを提示する。
• プロンプトチューニング、プレフィックスチューニング、フルファインチューニングを含むファインチューニング技術を概説し、過学習やバイアス強化を防ぐために正則化とハイパーパrameter最適化に重点を置く。
• Hugging Faceなどのオープンソースモデルリポジトリの活用を強調し、40,000以上の事前学習済みモデルが提供されており、分野特化型またはタスク特化型のLLMバージョンへのアクセスが可能であることを示す。

実験結果

リサーチクエスチョン

• RQ1 要件工学における特定のNLPタスクに最も適したLLMアーキテクチャ（エンコーダー専用、デコーダー専用、エンコーダー・デコーダー型）はどれか？
• RQ2 研究者および実務家は、限られたラベル付きデータで事前学習済みLLMをREタスクに効果的にファインチューニングするにはどうすればよいか？
• RQ3 LLMのファインチューニングにおいて、過学習、バイアス強化、ハイパーパrameter感受性といった主なリスクは何か、そしてそれらをどのように軽減できるか？
• RQ4 どのような状況ではLLMのファインチューニングが不適切または非効果的となり、代替アプローチを検討すべきか？
• RQ5 急速に進化する事前学習済みLLMのエコシステムは、REの研究および実践でどのように効果的に活用できるか？

主な発見

• LLMは、REタスクにおける大規模なラベル付きデータセットの必要性を顕著に低減し、10,000件未満のラベル付き例でも高品質な自動化を実現できる。これは、従来のモデルが効果的なパフォーマンスを得るためには10,000件以上のデータが必要であるのと対照的である。
• 自己アテンションメカニズムを介したコンテキスト依存埋め込みにより、同じ単語が文脈に応じて異なるベクトル表現を持つようになる。これは、スタティック埋め込みの主要な制限を克服する。
• ファインチューニングはREタスクにおいて有効であるが、ドロップアウト、重み減衰、早期停止、交差検証などの技術を用いて過学習を慎重に管理する必要がある。
• バイアス強化は、ファインチューニング中の深刻なリスクである。モデルの重みがファインチューニングデータ内の既存のバイアスを強化する可能性があるため、データの洗練と監査が不可欠である。
• すべてのLLMがファインチューニングをサポートするわけではない。API専用のモデル、または頻繁に変化する、またはユーザー固有のデータを扱うアプリケーションでは、ファインチューニングが不適切または非効果的となる場合がある。
• Hugging Faceに40,000以上の事前学習済みモデルが存在するため、研究者は特定のREタスク、言語、分野に特化したモデルにアクセスでき、パフォーマンスを向上させるとともに、ベースモデルへの依存を減らすことができる。