[論文レビュー] Technical Report on Neural Language Models and Few-Shot Learning for Systematic Requirements Processing in MDSE

Vincent Bertram, Miriam Boß+5 more|arXiv (Cornell University)|Jan 1, 2022

Software Engineering Research被引用数 2

ひとこと要約

本論文では、大規模な事前学習済み言語モデル（例：GPT-J6B）を少サンプル微調整することで、自動的に非形式的な自然言語要件を自動車システム工学分野に特化した形式的DSLに翻訳する手法を提案する。主な貢献は、高品質な翻訳を達成するために10件未満のアノテート済み例で十分であることを示したことであり、人的リソースを最小限に抑えつつ、スケーラブルで高構文的一致性を持つレガシ要件の形式化を可能にする。

ABSTRACT

Systems engineering, in particular in the automotive domain, needs to cope with the massively increasing numbers of requirements that arise during the development process. To guarantee a high product quality and make sure that functional safety standards such as ISO26262 are fulfilled, the exploitation of potentials of model-driven systems engineering in the form of automatic analyses, consistency checks, and tracing mechanisms is indispensable. However, the language in which requirements are written, and the tools needed to operate on them, are highly individual and require domain-specific tailoring. This hinders automated processing of requirements as well as the linking of requirements to models. Introducing formal requirement notations in existing projects leads to the challenge of translating masses of requirements and process changes on the one hand and to the necessity of the corresponding training for the requirements engineers. In this paper, based on the analysis of an open-source set of automotive requirements, we derive domain-specific language constructs helping us to avoid ambiguities in requirements and increase the level of formality. The main contribution is the adoption and evaluation of few-shot learning with large pretrained language models for the automated translation of informal requirements to structured languages such as a requirement DSL. We show that support sets of less than ten translation examples can suffice to few-shot train a language model to incorporate keywords and implement syntactic rules into informal natural language requirements.

研究の動機と目的

• 自動車システム工学分野における一貫性に欠け、曖昧な自然言語要件の課題に対処すること。
• 自然言語から形式的・構造的DSLに翻訳する作業の高コスト・高負荷を低減すること。
• 事前学習済み言語モデルを用いた少サンプル学習により、スケーラブルでリソースが限られたレガシ要件の形式化を可能にすること。
• トレーサビリティ、一貫性、および早期エラー検出の向上により、モデル指向型システム工学（MDSE）を支援すること。
• 特にデータ量が限られた小規模チームや単一プロジェクト向けに、形式的DSLの産業現場への導入を促進すること。

提案手法

• 共通の曖昧さを特定し、分野特化型DSLの構成要素を定式化するために、オープンソースの自動車要件データセットを分析する。
• 自動車要件に特化した、直感的な表現と形式的構造を重視した、文法的・意味的構造に適合した分野特化型言語（DSL）を設計する。
• 1回の翻訳パターンあたり1～6例のサポート例を用いて、大規模言語モデル（例：GPT-J6B）を用いた少サンプル学習により、自然言語からDSLへの翻訳を訓練する。
• 特定の文法的パターン（例：if-then論理、助動詞、命題論理）を中心に訓練例を構造化し、モデルの構文的・意味的マッピングをガイドする。
• 人的アノテーションによる翻訳例を適用することで、分布シフトを最小限に抑え、文脈に応じた正確性を確保する。
• 翻訳品質の評価には、5名のエンジニアによる人的ラベル付けと過半数投票を用い、信頼性を確保しバイアスを低減する。

実験結果

リサーチクエスチョン

• RQ1 大規模言語モデルを用いた少サンプル学習は、自動車要件分野に特化した形式的DSLへの非形式的自然言語要件の正確な翻訳を達成できるか？
• RQ2 自動車要件における異なる文法的構造に対して、信頼性があり一貫性のある翻訳を達成するために、どの程度の少サンプル例が必要か？
• RQ3 完全な微調整を伴わずに、事前学習済み言語モデルは要件工学分野における多様な構文的パターンにどの程度一般化できるか？
• RQ4 人的監視は、データ量が限られた環境下での自動翻訳の品質と一貫性にどのように影響を与えるか？
• RQ5 本手法は、大規模な再アノテーションや完全な微調整を要せず、レガシ要件に効果的に適用可能か？

主な発見

• GPT-J6Bを用いた少サンプル学習により、1～6例のサポート例を用いた翻訳パターンごとに高い翻訳精度が達成され、低データ環境下での実現可能性が示された。
• if-then論理、助動詞（例：'must'、'may'）、命題論理（例：'≤'、'≥'）といった複雑な構造を、高い一貫性で形式的DSL構文に正しく翻訳できた。
• if-then構造に関しては、6例および4例の設定で100％の正確さを達成し、1例の設定でも91％の正確さを示した。これは、優れた少サンプル一般化性能を示している。
• キーワード特化型の例を用いて学習した場合、命題論理構造（例：'equal to'、'less than or equal to'）の翻訳は、最小限のデータでも100％の正確さに達した。
• 変数や境界（例：'horn loudness ≤50dB'）といった意味的要素を正しく抽出できたため、後続のトレーサビリティおよび一貫性検査が可能になった。
• 人的評価により高い信頼性が確認され、結果の妥当性を保証するため、5名のエンジニアによる過半数投票を用いてラベル付けのバイアスを低減した。