[論文レビュー] ComFormer: Code Comment Generation via Transformer and Fusion Method-based Hybrid Code Representation

Guang Yang, Xiang Chen+5 more|arXiv (Cornell University)|Jul 8, 2021

Software Engineering Research被引用数 4

ひとこと要約

ComFormerは、ASTトラバーサル（Sim_SBT）とByte-BPEによる識別子サブワードトークン化を介して、語彙的および構文的コード特徴を統合する統合型ハイブリッドコード表現を組み合わせたTransformerアーキテクチャを用いた、新しいコードコメント生成モデルを提案する。大規模なJavaコーパス上で最先端の性能を達成し、7つのSOTAベースラインをBLEU、METEOR、ROUGE-L指標で上回り、人的評価でも高いコメント品質が確認された。

ABSTRACT

Developers often write low-quality code comments due to the lack of programming experience, which can reduce the efficiency of developers program comprehension. Therefore, developers hope that code comment generation tools can be developed to illustrate the functionality and purpose of the code. Recently, researchers mainly model this problem as the neural machine translation problem and tend to use deep learning-based methods. In this study, we propose a novel method ComFormer based on Transformer and fusion method-based hybrid code presentation. Moreover, to alleviate OOV (out-of-vocabulary) problem and speed up model training, we further utilize the Byte-BPE algorithm to split identifiers and Sim_SBT method to perform AST Traversal. We compare ComFormer with seven state-of-the-art baselines from code comment generation and neural machine translation domains. Comparison results show the competitiveness of ComFormer in terms of three performance measures. Moreover, we perform a human study to verify that ComFormer can generate high-quality comments.

研究の動機と目的

• 開発者の経験や時間的制約による低品質または欠落したコードコメントの課題に対処すること。
• 自動的に正確で機能的なコメントを生成することで、プログラムの理解効率を向上させること。
• 既存手法の限界、例えばOOV（語彙外語）問題や構文構造の不適切な処理を克服すること。
• 語彙的および構文的コード表現を効果的に統合する、堅牢でエンドツーエンドのディープラーニングモデルを開発すること。
• 自動指標と人的評価の両方を用いて、モデルの性能を検証すること。

提案手法

• シーケンス・ツー・シーケンスのコードコメント生成のため、Transformerベースのエンコーダ・デコーダアーキテクチャを採用する。
• ASTトラバーサルに用いるSim_SBTを用いて、トークンレベル（語彙的）およびASTベース（構文的）特徴を統合するハイブリッドコード表現を導入する。
• 識別子のサブワード符号化にByte-BPEアルゴリズムを適用し、学習中のOOV問題を軽減する。
• 語彙的および構文的表現を統合するための3つの統合戦略（Jointly Encoder、Shared Encoder、Single Encoder）を検討する。
• 両方のコード表現から同時に学習可能なSingle Encoder統合法を採用し、最も優れた性能を達成した。
• 学習および評価に用いる大規模かつ高品質なJavaコードコメントデータセット（485,812ペア）を、Huらの研究から取得する。

Figure 1: The framework of our proposed method ComFormer

実験結果

リサーチクエスチョン

• RQ1 ハイブリッドコード表現を用いたTransformerベースのモデルは、既存のSOTA手法を上回るコードコメント生成性能を達成できるか？
• RQ2 語彙的および構文的コード表現の統合戦略の違いが、モデルの性能にどのように影響するか？
• RQ3 Byte-BPEによるサブワードトークン化は、コードコメント生成におけるOOV問題をどの程度軽減できるか？
• RQ4 特に長いメソッドに対して、ComFormerは一般化性能を示せるか？
• RQ5 人的評価において、ComFormerはベースラインと比較してコメントの質と関連性において優れているか？

主な発見

• ComFormerは、コードコメント生成およびニューラル機械翻訳分野の7つのSOTAベースラインを上回り、BLEU、METEOR、ROUGE-Lの3つの標準指標すべてで優れた性能を達成した。
• Single Encoder統合戦略が最も優れた結果をもたらし、JointlyおよびShared Encoder構成を上回った。
• ComFormerは長めのコードスニペット（最大125トークン）に対しても強い性能を維持したが、それ以上になるとデータの希釈によりわずかに性能が低下した。
• 人的評価では、ComFormerが生成したコメントは、最高性能を示したベースラインであるHybrid-DeepComのものよりも、より正確で自然であると評価された。
• Byte-BPEを活用することで、OOV用語に対する耐性が向上し、学習および推論段階における語彙関連の問題が顕著に軽減された。

Figure 2: The AST traversal results of the methods SBT and Sim_SBT