[論文レビュー] SE3M: A Model for Software Effort Estimation Using Pre-trained Embedding Models.

Eliane Maria De Bortoli Fávero, Dalcimar Casanova+1 more|arXiv (Cornell University)|Jun 30, 2020

Software Engineering Research参考文献 68被引用数 9

ひとこと要約

本稿では、要件テキストから直接作業量を予測するために、微調整された事前学習済み埋め込み（特に BERT）を活用するソフトウェア作業量推定モデル SE3M を提案する。文脈を考慮した埋め込みとディープラーニングアーキテクチャを用いることで、単一プロジェクト評価において平均絶対誤差（MAE）が 4.25、標準偏差が 0.17 にまで低下し、高い信頼性と低い計算コストを実現した。

ABSTRACT

Estimating effort based on requirement texts presents many challenges, especially in obtaining viable features to infer effort. Aiming to explore a more effective technique for representing textual requirements to infer effort estimates by analogy, this paper proposes to evaluate the effectiveness of pre-trained embeddings models. For this, two embeddings approach, context-less and contextualized models are used. Generic pre-trained models for both approaches went through a fine-tuning process. The generated models were used as input in the applied deep learning architecture, with linear output. The results were very promising, realizing that pre-trained incorporation models can be used to estimate software effort based only on requirements texts. We highlight the results obtained to apply the pre-trained BERT model with fine-tuning in a single project repository, whose value is the Mean Absolute Error (MAE) is 4.25 and the standard deviation of only 0.17, which represents a result very positive when compared to similar works. The main advantages of the proposed estimation method are reliability, the possibility of generalization, speed, and low computational cost provided by the fine-tuning process, and the possibility to infer new or existing requirements.

研究の動機と目的

• 要件テキストから有効な特徴を抽出する課題に対処する。
• 作業量推定に向けた、文脈無しおよび文脈ありの事前学習埋め込みモデルの有効性を評価する。
• 微調整済みの事前学習モデルを活用することで、推定の信頼性と一般化性能を向上させる。
• トランスファー学習により、計算コストを低減し、作業量推定の速度を向上させる。
• 統一された埋め込みベースのアプローチにより、新規および既存の要件の両方の推定を可能にする。

提案手法

• 要件テキストからの特徴抽出として、文脈無しおよび文脈ありの事前学習埋め込みモデルを活用する。
• プロジェクト固有の要件データ上で一般化された事前学習モデル（例：BERT）を微調整し、表現を適応させる。
• 生成された埋め込みを、作業量予測用の線形出力層を備えたディープラーニングアーキテクチャに供給する。
• 微調整および評価のための単一プロジェクトリポジトリを用い、モデルの性能を評価する。
• トランスファー学習を適用することで、正確性を維持したままトレーニング時間と計算リソースを削減する。
• 主評価指標として平均絶対誤差（MAE）を用いてモデルを最適化する。

実験結果

リサーチクエスチョン

• RQ1 事前学習埋め込みモデルは、ソフトウェア作業量推定のための要件テキストを効果的に表現できるか？
• RQ2 微調整済みモデルは、非微調整ベースラインと比較して、作業量推定の正確性をどのように向上させるか？
• RQ3 作業量推定タスクにおいて、文脈あり埋め込み（例：BERT）と文脈無し埋め込みの性能はどのように異なるか？
• RQ4 提案されたモデルは、単一プロジェクト内の異なる要件に対してどの程度一般化可能か？
• RQ5 既存の作業量推定手法と比較して、モデルの計算効率性と信頼性はどの程度か？

主な発見

• SE3M モデルは、単一プロジェクトリポジトリ上で微調整済み BERT を使用した場合、平均絶対誤差（MAE）が 4.25 に達した。
• MAE の標準偏差はわずか 0.17 にとどまり、予測の高い一貫性と信頼性を示している。
• 微調整済み BERT は他の埋め込みアプローチを上回り、文脈あり表現の有効性を実証した。
• 効率的な微調整プロセスのおかげで、計算コストが低く、高速な推定が実現した。
• 同じ埋め込みフレームワークを用いることで、新規および既存の要件の両方に対して正確な推定が可能になった。
• 要件ベースの作業量推定分野における類似研究と比較して、本結果は強力なパフォーマンスのベンチマークを示している。