[論文レビュー] BERT_SE: A Pre-trained Language Representation Model for Software Engineering

Eliane Maria De Bortoli Fávero, Dalcimar Casanova|arXiv (Cornell University)|Dec 1, 2021

Software Engineering Research参考文献 28被引用数 4

ひとこと要約

本稿では、要件や関連アーティファクトの意味的理解を向上させるために、ソフトウェア工学（SE）テキストデータで微調整されたドメイン特化型の文脈的言語表現モデル、BERT_SEを提案する。洗練されたSE固有のコーパス上でBERT_baseを微調整することにより、BERT_SEは汎用的BERT_baseモデルと比較して、文の類似度表現で平均13%の向上を達成し、SE固有の自然言語処理タスクにおいて優れた性能を示している。

ABSTRACT

The application of Natural Language Processing (NLP) has achieved a high level of relevance in several areas. In the field of software engineering (SE), NLP applications are based on the classification of similar texts (e.g. software requirements), applied in tasks of estimating software effort, selection of human resources, etc. Classifying software requirements has been a complex task, considering the informality and complexity inherent in the texts produced during the software development process. The pre-trained embedding models are shown as a viable alternative when considering the low volume of textual data labeled in the area of software engineering, as well as the lack of quality of these data. Although there is much research around the application of word embedding in several areas, to date, there is no knowledge of studies that have explored its application in the creation of a specific model for the domain of the SE area. Thus, this article presents the proposal for a contextualized embedding model, called BERT_SE, which allows the recognition of specific and relevant terms in the context of SE. The assessment of BERT_SE was performed using the software requirements classification task, demonstrating that this model has an average improvement rate of 13% concerning the BERT_base model, made available by the authors of BERT. The code and pre-trained models are available at https://github.com/elianedb.

研究の動機と目的

• ソフトウェア工学（SE）における低品質で非形式的かつ複雑なテキストデータが、有効なNLPアプリケーションの実現を妨げるという課題に対処すること。
• BERT_baseのような汎用的事前学習モデルが、SEテキストにおけるドメイン特化された意味的特徴や文脈的ニュアンスを十分に捉えきれないという限界を克服すること。
• 要件分類や作業量推定などのSEタスクに特化した、文脈的言語表現モデルを構築すること。
• 一般向けモデルをSE固有のラベルなしテキストで微調整することで、意味的類似度および表現精度が顕著に向上することを実証すること。

提案手法

• 大規模かつラベルなしのSE固有テキストコーパス（corp_SE）上で事前学習済みBERT_baseモデルを微調整し、ドメインに適応させること。
• ソフトウェア要件、ユーザーストーリー、バグレポート、ユースケースを含むドメイン特化コーパスを用いて、モデルのパラメータを再学習させつつ、Transformerアーキテクチャを保持すること。
• 微調整中にマスク言語モデル化および次文予測の目的関数を適用し、SEに特化した文脈的意味を維持すること。
• 文の表現間のコサイン類似度を測定することで、意味的類似度を評価すること。
• 複数の学習エポックおよび文のペアを用いて、BERT_SEの性能をBERT_baseと比較し、改善度を評価すること。
• 事前学習済みモデルおよびコードを公開することで、再現性の確保とSE NLP研究分野における広範な採用を支援すること。

実験結果

リサーチクエスチョン

• RQ1 SE固有のテキストデータで微調整された事前学習言語モデルは、汎用モデルと比較して、ソフトウェア要件の意味的表現をより良くすることができるか？
• RQ2 ドメイン特化型の微調整は、ソフトウェア工学文脈における文類似度検出の正確性をどの程度向上させるか？
• RQ3 BERT_SEは、SE用語における多義語や文脈依存的意味をBERT_baseよりも効果的に捉えられるか？
• RQ4 微調整エポック数が、SEテキスト表現におけるBERT_SEモデルの性能にどのように影響するか？

主な発見

• BERT_SEは、全評価文に対して、BERT_baseと比較して平均13%の文類似度表現の向上を達成した。
• 改善は全テストケースで一貫しており、BERT_SEに有利なコサイン類似度の平均差が正であった。
• 差の標準偏差が低く、性能向上が安定的かつ信頼性があることを示している。
• 100エポックを超えて微調整エポック数を増やしても顕著な追加改善が得られず、収束していることが示された。
• モデルは、プログラミング文脈における「language」のような用語の意味のあいまいさを解消する能力を示し、文脈依存的意味を捉える強靭性と有効性を示した。
• 結果から、ドメイン特化型の微調整が、SE NLPタスクにおける意味的表現を顕著に向上させることを確認した。