[論文レビュー] Deep Learning Models in Software Requirements Engineering

Maria Naumcheva|arXiv (Cornell University)|May 17, 2021

Software Engineering Research参考文献 27被引用数 4

ひとこと要約

本論文は、3,000件の要件データセットを用いて微調整された文の自己符号化器を用いて、変分オートエンコーダー（VAEs）を用いた自動ソフトウェア要件生成への応用を調査している。『the shall shall to to』のような繰り返しで意味のないフレーズが主に生成されたが、要件工学における深層生成モデリングの基盤となるフレームワークを確立し、データセットのサイズとモデルアーキテクチャを今後の改善のための主要な要因として特定した。

ABSTRACT

Requirements elicitation is an important phase of any software project: the errors in requirements are more expensive to fix than the errors introduced at later stages of software life cycle. Nevertheless, many projects do not devote sufficient time to requirements. Automated requirements generation can improve the quality of software projects. In this article we have accomplished the first step of the research on this topic: we have applied the vanilla sentence autoencoder to the sentence generation task and evaluated its performance. The generated sentences are not plausible English and contain only a few meaningful words. We believe that applying the model to a larger dataset may produce significantly better results. Further research is needed to improve the quality of generated data.

研究の動機と目的

• 深層生成モデル、特に変分オートエンコーダー（VAEs）を用いた自動ソフトウェア要件生成の可能性を検討すること。
• VAEsがソフトウェア要件テキストから意味的な表現を学習し、妥当で整合性のある要件を生成できるかどうかを評価すること。
• 要件工学における小規模でドメイン特化したデータセットに適用された現在のVAEベースのアプローチの限界を特定すること。
• 自動要件生成のためのベースラインモデルとデータセットを確立することで、今後の研究の土台を築くこと。

提案手法

• 順序付き語の生成を目的とした、双方向LSTMエンコーダー、変分推論モジュール、LSTMデコーダーを備えた変分オートエンコーダー（VAE）を訓練した。
• 入力語を密度の高いベクトル空間に表現するために、事前学習済みのGloVe語埋め込みを用いた。
• トークン化、標 punctuation の削除、語彙を最も頻出する1,000語に制限することで、データセットを前処理した。
• 生成品質を評価するために、2つの実際の要件間の潜在空間補間を実施した。
• 約3,000件のエントリからなる独自の要件データセットを用いて、100エポックにわたりモデルを訓練した。
• 生成出力を、質的検査と意味的整合性分析を用いて実際の要件と比較して評価した。

実験結果

リサーチクエスチョン

• RQ1 小規模でドメイン特化したデータセットから、VAEベースのオートエンコーダーが意味的で文法的に正しいソフトウェア要件を生成できるか？
• RQ2 生成された要件は、語彙的多様性と意味的コンテンツの観点から、実際の要件と比べてどの程度の品質と整合性を示すか？
• RQ3 データセットのサイズが、ソフトウェア要件生成におけるVAEsのパフォーマンスに及ぼす影響は何か？
• RQ4 条件付きVAEや拡張畳み込みニューラルネットワーク（dilated CNN）デコーダーなどのアーキテクチャ的変更は、このタスクにおける生成品質を向上させ得るか？

主な発見

• モデルは『the』や『to』といった繰り返しのストップワードが支配的で、『system』や『shall』といったまれな意味のある語が偶発的に生成された。
• 生成出力で最も頻出する意味のある語は『system』と『shall』であり、これらは実際の要件において顕著に頻出するため、一部の意味的特徴を部分的に学習していることを示している。
• 100エポックの訓練にもかかわらず、生成された文は文法的構造や意味的整合性に欠け、現在のデータセットでは生成品質が著しく低いことが示された。
• モデルのパフォーマンスは、訓練データセットの小さなサイズ（約3,000エントリ）に起因しており、意味的な向上にはより大きなデータセットが不可欠であると示唆された。
• 潜在空間補間により、明確な意味的進行がない出力が得られ、モデルが意味的に分離可能な表現を学習できていないことを裏付けた。
• 本研究は、VAEsが要件生成の出発点として有効であるものの、より大きなデータセットと高度なアーキテクチャを用いた大幅な改善が必要であると結論づけた。