[論文レビュー] Large Language Models Based Automatic Synthesis of Software Specifications

Shantanu Mandal, Adhrik Chethan+6 more|arXiv (Cornell University)|Apr 18, 2023

Software Engineering Research被引用数 4

ひとこと要約

本論文では、マニュアル、コメント、フォーラムなどの非構造的な自然言語ソースから自動的にソフトウェア仕様を合成するため、BERTベースのシーケンス・ツー・シーケンス学習を活用する新規フレームワーク、SpecSynを提案する。既存の最先端手法よりもF1スコアで21%の向上を達成し、このタスクにおける最初のエンド・ツー・エンドのLLMベースのアプローチである。

ABSTRACT

Software configurations play a crucial role in determining the behavior of software systems. In order to ensure safe and error-free operation, it is necessary to identify the correct configuration, along with their valid bounds and rules, which are commonly referred to as software specifications. As software systems grow in complexity and scale, the number of configurations and associated specifications required to ensure the correct operation can become large and prohibitively difficult to manipulate manually. Due to the fast pace of software development, it is often the case that correct software specifications are not thoroughly checked or validated within the software itself. Rather, they are frequently discussed and documented in a variety of external sources, including software manuals, code comments, and online discussion forums. Therefore, it is hard for the system administrator to know the correct specifications of configurations due to the lack of clarity, organization, and a centralized unified source to look at. To address this challenge, we propose SpecSyn a framework that leverages a state-of-the-art large language model to automatically synthesize software specifications from natural language sources. Our approach formulates software specification synthesis as a sequence-to-sequence learning problem and investigates the extraction of specifications from large contextual texts. This is the first work that uses a large language model for end-to-end specification synthesis from natural language texts. Empirical results demonstrate that our system outperforms prior the state-of-the-art specification synthesis tool by 21% in terms of F1 score and can find specifications from single as well as multiple sentences.

研究の動機と目的

• 複雑なソフトウェアシステムにおける手動による設定仕様抽出の課題に対処すること。
• 非構造的なソースからの自動抽出によって、誤設定が原因となるシステム障害を低減すること。
• ルールベースや構文解析手法に依存せずに、自然言語テキストから直接仕様を合成するエンド・ツー・エンドのフレームワークを構築すること。
• 大規模言語モデルの文脈的理解を活用することで、既存の仕様抽出ツールを上回る性能を実現すること。
• システム管理者が多様な文書ソースから抽出された設定ルールを信頼できる一元的なソースとして利用できるようにすること。

提案手法

• 微調整されたBERTベースのエンコーダ・デコーダアーキテクチャを用いて、ソフトウェア仕様合成をシーケンス・ツー・シーケンス学習問題として定式化する。
• ソフトウェアマニュアル、コードコメント、オンラインフォーラムから抽出した構成記述のキュレート済みデータセット上でモデルを学習する。
• 一般化性能を向上させるためにデータコンポジション技術を採用し、複数の文を1つの入力シーケンスに統合して複雑な仕様抽出を実現する。
• 2段階アプローチを採用：単一文抽出は単純なルールに、2文の組み合わせは文脈依存の複雑な仕様に適応する。
• BERTの事前学習済み重みを活用したトランスファー学習により、設定関連の自然言語における意味的・構文的パターンを捉える。
• 交差エントロピー損失を最適化手法として用い、ホールドアウトされたテストセットを用いてF1スコアで性能を評価する。

Figure 1 . Overview of SpecSyn

実験結果

リサーチクエスチョン

• RQ1 大規模言語モデルは、非構造的な自然言語テキストからソフトウェア設定仕様を効果的に抽出できるか？
• RQ2 LLMベースのアプローチは、従来のルールベースや構文解析手法と比較して、仕様抽出においてどの程度優れているか？
• RQ3 シーケンス・ツー・シーケンスモデルは、マニュアル、コードコメント、ディスカッションフォーラムなど多様なソースに一般化できるか？
• RQ4 入力シーケンスの長さと構成が、仕様抽出の正確性に与える影響はどの程度か？
• RQ5 単一または複数の文から導出される単純および複雑な仕様を、モデルは適切に処理できるか？

主な発見

• SpecSynは、従来の最先端の仕様合成ツールと比較して21%高いF1スコアを達成し、顕著な性能向上を示した。
• モデルは単一文および複数文の文脈からの仕様抽出に成功しており、2文入力は複雑な仕様ケースの大部分をカバーしている。
• データコンポジション技術によりモデルの一般化性能が向上し、限られた訓練データでも良好な性能を発揮できるようになった。
• BERTベースの微調整により、曖昧な表現や文脈依存的な表現に対しても、設定関連の自然言語を効果的に理解できるようになった。
• 2文を超える長さのシーケンスでは性能が著しく低下しており、今後の研究においてより長い文脈モデリングの必要性が示唆された。
• 実験的結果から、LLMベースのアプローチが、従来の構文解析およびルールベース手法よりも仕様抽出の正確性で優れていることが確認された。

Figure 2 . SpecSyn model architecture