[論文レビュー] BashExplainer: Retrieval-Augmented Bash Code Comment Generation based on Fine-tuned CodeBERT

Chi Yu, Guang Yang+3 more|arXiv (Cornell University)|Jun 27, 2022

Software Engineering Research被引用数 4

ひとこと要約

BashExplainerは、ファインチューニングされたCodeBERTを用いて、リtrieval増強型で二段階のコードコメント生成手法を提案する。この手法は、リポジトリ内から意味的および語彙的に類似したコードを検索し、ターゲットコードと検索されたコードの埋め込みを統合して、デコーダーを介してコメントを生成する。BLEU-4で最低8.75%、METEORで最低9.29%の性能向上を達成し、すべてのベースラインを上回る。

ABSTRACT

Developers use shell commands for many tasks, such as file system management, network control, and process management. Bash is one of the most commonly used shells and plays an important role in Linux system development and maintenance. Due to the language flexibility of Bash code, developers who are not familiar with Bash often have difficulty understanding the purpose and functionality of Bash code. In this study, we study Bash code comment generation problem and proposed an automatic method BashExplainer based on two-stage training strategy. In the first stage, we train a Bash encoder by fine-tuning CodeBERT on our constructed Bash code corpus. In the second stage, we first retrieve the most similar code from the code repository for the target code based on semantic and lexical similarity. Then we use the trained Bash encoder to generate two vector representations. Finally, we fuse these two vector representations via the fusion layer and generate the code comment through the decoder. To show the competitiveness of our proposed method, we construct a high-quality corpus by combining the corpus shared in the previous NL2Bash study and the corpus shared in the NLC2CMD competition. This corpus contains 10,592 Bash codes and corresponding comments. Then we selected ten baselines from previous studies on automatic code comment generation, which cover information retrieval methods, deep learning methods, and hybrid methods.

研究の動機と目的

• Bashスクリプトの自動コメント生成の不足に取り組む。Bashスクリプトは広く使われているが、専門家でない者には理解が難しい。
• 高品質で自然な言語のコメントを生成することで、Bashコードの可読性と保守性を向上させる。
• NL2BashとNLC2CMDのデータを統合して、高品質で大規模なBashコード-コメントコーパスを構築する。
• 情報検索とニューラル生成を統合した、新たなリtrieval増強型ディープラーニングフレームワークを構築する。

提案手法

• 新しく構築したBashコードコーパス上でCodeBERTをファインチューニングし、ドメイン特化型のBashエンコーダーを生成する。
• 意味的および語彙的類似性に基づくハイブリッドリtrieバルモジュールを用い、与えられたターゲットコードに対してリポジトリ内から最も関連性の高いコードスニペットを特定する。
• ファインチューニングされたCodeBERTエンコーダーを用いて、ターゲットコードと検索されたコードの両方を符号化し、2つの文脈的ベクトル表現を生成する。
• 正規化とファージョン層を適用して、2つのベクトル表現を統合し、1つの洗練された表現に統合する。
• 統合された表現をデコーダーに通して、Bashコード用の自然言語コメントを生成する。
• 全システムを二段階戦略で訓練する：まずコーパス上でエンコーダーを事前学習し、その後リtrieバルと生成モジュールを共同で訓練する。

実験結果

リサーチクエスチョン

• RQ1 リtrieバル増強アプローチは、純粋なディープラーニング手法と比較して、Bashスクリプトのコメント生成品質を向上させることができるか？
• RQ2 ドメイン特化型Bashコーパス上でCodeBERTをファインチューニングすることは、コード表現学習にどの程度有効か？
• RQ3 ターゲットコードと類似したコードの埋め込みを統合することで、ターゲットコードのみを用いる場合と比較して、コメント生成が向上するか？
• RQ4 自動評価および人的評価指標において、BashExplainerは最先端のベースラインと比較してどの程度優れているか？
• RQ5 アブレーションスタディによって、BashExplainerの各コンポonentの貢献度はどの程度か？

主な発見

• BashExplainerは、すべての10のベースラインに対して、BLEU-3で最低8.75%、BLEU-4で最低9.29%、METEORで最低4.77%、ROUGE-Lで最低3.86%の性能向上を達成した。
• アブレーションスタディにより、リtrieバルモジュールおよびファージョン層の両方が性能向上に顕著に寄与していることが確認され、設計の妥当性が裏付けられた。
• 人的評価により、BashExplainerがベースラインよりも正確で自然なコメントを生成することが確認された。
• パイプライン、ループ、パラメータ展開を含む複雑なBashコマンドに対しても、強力な性能を発揮した。
• 10,592個のBashコード-コメントペアから構築されたコーパスは公開されており、今後の研究のベンチマークとして利用可能である。
• BashExplainerに基づくブラウザープラグインを開発し、実用的な状況でのリアルタイムコード理解を支援した。