[論文レビュー] Fine-grained Pseudo-code Generation Method via Code Feature Extraction and Transformer

Guang Yang, Yanlin Zhou+2 more|arXiv (Cornell University)|Feb 12, 2021

Software Engineering Research被引用数 5

ひとこと要約

本稿では、畳み込みニューラルネットワーク（CNN）を用いたコード特徴抽出とシーケンス・トゥ・シーケンス学習を統合するTransformerベースの手法DeepPseudoを提案する。局所的なコード特徴とグローバルな文脈表現を統合し、敵対的訓練を組み込むことで、DjangoおよびSPoCデータセットにおいて最先端の性能を達成し、4つの評価指標で7つのベースラインを上回った。

ABSTRACT

Pseudo-code written by natural language is helpful for novice developers' program comprehension. However, writing such pseudo-code is time-consuming and laborious. Motivated by the research advancements of sequence-to-sequence learning and code semantic learning, we propose a novel deep pseudo-code generation method DeepPseudo via code feature extraction and Transformer. In particular, DeepPseudo utilizes a Transformer encoder to perform encoding for source code and then use a code feature extractor to learn the knowledge of local features. Finally, it uses a pseudo-code generator to perform decoding, which can generate the corresponding pseudo-code. We choose two corpora (i.e., Django and SPoC) from real-world large-scale projects as our empirical subjects. We first compare DeepPseudo with seven state-of-the-art baselines from pseudo-code generation and neural machine translation domains in terms of four performance measures. Results show the competitiveness of DeepPseudo. Moreover, we also analyze the rationality of the component settings in DeepPseudo.

研究の動機と目的

• 初心者開発者が行う時間のかかる手作業の擬似コード作成の課題を解決すること。
• ソースコードの自然言語による人間が読みやすい記述を自動生成することで、プログラムの理解を向上させること。
• 局所的なコード特徴とグローバルな文脈表現の統合を通じて、擬似コード生成の性能を向上させること。
• 実世界のコードコーパスを用いて、提案手法の有効性と耐性を検証すること。
• 再現可能性と今後の研究を支援するため、コード、モデル、データセットをオープンソースで提供すること。

提案手法

• Transformerエンコーダーがソースコードを処理し、グローバルな文脈表現を学習する。
• CNNベースのコード特徴抽出器が、コードの局所的な構文的・構造的特徴を捉える。
• TransformerとCNNのエンコード表現を連結し、デコーダーに供給して擬似コードを生成する。
• デコーダーはビームサーチを用いて、高品質で自然言語に近い擬似コードシーケンスを生成する。
• PGDを用いた敵対的訓練を埋め込み層に適用し、モデルの耐性を高め、過学習を低減する。
• デコード性能の最適化を図るため、ノーマライズドアテンション（norm-attention）を含む複数のアテンションメカニズムを評価した。

実験結果

リサーチクエスチョン

• RQ1 標準的なTransformerモデルと比較して、コード特徴抽出の統合は擬似コード生成性能を向上させるか？
• RQ2 アテンションメカニズムの選択（例：norm-attention）はモデルの性能にどのように影響するか？
• RQ3 モデルの深さ（N）、モデル幅（d_model）、カーネルサイズ（K）といったハイパーパrameterの最適な設定は何か？
• RQ4 敵対的訓練はモデルの耐性と一般化性能にどのように影響するか？

主な発見

• DeepPseudoは、DjangoおよびSPoCデータセットの両方で、BLEU、ROUGE-L、CIDER、METEORの4つの評価指標において、7つの最先端のベースラインを上回った。
• Djangoデータセットでは、BLEUスコアが50.817、ROUGE-Lが39.201、CIDERが77.773、METEORが5.813を達成した。
• SPoCデータセットでは、BLEUスコアが46.454、ROUGE-Lが40.809、CIDERが63.430、METEORが4.113を達成した。
• アブレーションスタディの結果、コード特徴抽出器が性能向上に顕著に寄与しており、特にnorm-attentionと組み合わせた際の向上幅が最大であった。
• 最適なハイパーパrameterはN=3、d_model=256、kernel_size=5と特定され、それ以上の値は訓練の不安定化と性能の低下を引き起こした。
• 敵対的訓練により、特にリソースが限られた環境下で、モデルの耐性と一般化性能が向上した。