[論文レビュー] DeepSumm -- Deep Code Summaries using Neural Transformer Architecture

Vivek Kumar Gupta|arXiv (Cornell University)|Mar 31, 2020

Software Engineering Research参考文献 16被引用数 4

ひとこと要約

この論文は、再帰的アーキテクチャの代わりに自己注意メカニズムを用いたニューラルトランスフォーマーに基づくモデルであるDeepSummを提案し、Javaにおける自動ソースコード要約を実現する。210万件のコードコメントペアから成るテストセットにおいて17.99のBLEUスコアを達成し、RNNベースのモデルと比較して訓練時間を50%以上短縮した一方で、速度および性能の両面でベースラインを上回った。

ABSTRACT

Source code summarizing is a task of writing short, natural language descriptions of source code behavior during run time. Such summaries are extremely useful for software development and maintenance but are expensive to manually author,hence it is done for small fraction of the code that is produced and is often ignored. Automatic code documentation can possibly solve this at a low cost. This is thus an emerging research field with further applications to program comprehension, and software maintenance. Traditional methods often relied on cognitive models that were built in the form of templates and by heuristics and had varying degree of adoption by the developer community. But with recent advancements, end to end data-driven approaches based on neural techniques have largely overtaken the traditional techniques. Much of the current landscape employs neural translation based architectures with recurrence and attention which is resource and time intensive training procedure. In this paper, we employ neural techniques to solve the task of source code summarizing and specifically compare NMT based techniques to more simplified and appealing Transformer architecture on a dataset of Java methods and comments. We bring forth an argument to dispense the need of recurrence in the training procedure. To the best of our knowledge, transformer based models have not been used for the task before. With supervised samples of more than 2.1m comments and code, we reduce the training time by more than 50% and achieve the BLEU score of 17.99 for the test set of examples.

研究の動機と目的

• ソフトウェア開発における手動ドキュメンテーションの高コストと低カバレッジを解決すること。
• 柔軟性とスケーラビリティに欠ける従来のテンプレートベースおよびヒューリスティック手法の改善に向けた取り組み。
• 従来のRNNベースのseq2seqモデルと比較して、コード要約分野で未検証であったトランスフォーマー・アーキテクチャの有効性を評価すること。
• 要約品質を損なわせることなく、訓練時間の短縮と推論効率の向上を実現すること。
• 自己注意メカニズムが、再帰的手法に比べてコードシーケンスにおける長距離依存関係をより効果的に捉える可能性についての探求。

提案手法

• 再帰ユニットを排除し、マルチヘッド自己注意とフィードフォワードネットワークを備えた、シーケンス・ツー・シーケンスのトランスフォーマー・アーキテクチャを採用する。
• コードとコメントをサブワード単位にトークン化した210万件のJavaメソッド-コメントペアから成る大規模データセットで学習を行う。
• 学習済み位置埋め込みを用いた標準的なトランスフォーマー・エンコーダ-デコーダ構造を採用し、エンコーダおよびデコーダの両方でRNNを置き換えている。
• デコード中に、ソースコードトークンとターゲット要約語の間のアライメントを実現するためにクロスアテンション機構を採用する。
• ラベルスムージングと固定学習率を用いたAdam最適化を実施し、計算制約のため5エポックのみで学習を実施した。
• BLEUスコアを用いた性能評価と、サンプル入力における注目分布の分析を通じて、モデルの挙動を解釈する。

実験結果

リサーチクエスチョン

• RQ1 トランスフォーマー・アーキテクチャは、BLEUスコアおよび訓練効率の両面で、RNNベースのseq2seqモデルを上回ることができるか？
• RQ2 モデル・アーキテクチャから再帰を排除することで、要約品質に顕著な劣化を来すことなく、より高速な訓練が可能になるか？
• RQ3 トランスフォーマー・モデルにおける注目分布は、コードトークンと要約語の間のアライメントをどのように反映しているか？
• RQ4 モデルが構造的または文法的コード構成を組み込んでいない場合、最先端の手法と比較して性能にどの程度の影響が及ぶか？
• RQ5 より単純で再帰のないアーキテクチャは、コード要約タスクにおいて著しく短い訓練時間で競争力のある結果を達成できるか？

主な発見

• トランスフォーマーに基づくDeepSummモデルは、テストセットで17.99のBLEUスコアを達成し、RNNベースのベースラインを1点以上上回った。
• 再帰モデルと比較して、訓練時間が50%以上短縮された。これは、自己注意メカニズムによる効率性の向上を示している。
• 単純なメソッドに対しては、例えば「getterメソッド」に対して「子を取得する」といった意味のある要約を効果的に生成し、注目が関連するトークンに正しく対応していた。
• 複雑なケース（メソッド名と戻り値型の不一致など）では、誤った用語（例：「酸素」ではなく「水」）を生成することがあり、意味的理解の限界を示唆している。
• 短い訓練期間（5エポックのみ）と構造的コード表現の欠如が、性能の制限要因であった。これは、より長い訓練とアーキテクチャの強化により、結果の向上が期待できる可能性を示している。
• 最先端の性能に到達してはいないものの、結果はトランスフォーマーがコード要約において実用的で利点があることを確認しており、特に訓練速度とスケーラビリティの面で優位性を示している。