[論文レビュー] A Convolutional Attention Network for Extreme Summarization of Source Code

Miltiadis Allamanis, Hao Peng+1 more|arXiv (Cornell University)|Feb 9, 2016

Software Engineering Research参考文献 44被引用数 135

ひとこと要約

tldr: 本論文は、コピー機構を備えた畳み込み型アテンションネットワークを提案し、Javaコードスニペットから短くて説明的なメソッド名サマリを生成する。複数プロジェクトにおいて標準的なアテンションと tf-idf ベースラインを上回り、長距離のトピック特徴量とコード要素の OoV トークンコピーの役割も分析する。

ABSTRACT

Attention mechanisms in neural networks have proved useful for problems in which the input and output do not have fixed dimension. Often there exist features that are locally translation invariant and would be valuable for directing the model's attention, but previous attentional architectures are not constructed to learn such features specifically. We introduce an attentional neural network that employs convolution on the input tokens to detect local time-invariant and long-range topical attention features in a context-dependent way. We apply this architecture to the problem of extreme summarization of source code snippets into short, descriptive function name-like summaries. Using those features, the model sequentially generates a summary by marginalizing over two attention mechanisms: one that predicts the next summary token based on the attention weights of the input tokens and another that is able to copy a code token as-is directly into the summary. We demonstrate our convolutional attention neural network's performance on 10 popular Java projects showing that it achieves better performance compared to previous attentional mechanisms.

研究の動機と目的

• 自動的で簡潔なメソッド名サマリがコード理解と検索を支援する必要性を動機づける。
• コードの翻訳不変性とトピカル特徴を捉え、アテンションを導くニューラルアーキテクチャを開発する。
• 入力トークンをサマリへ直接コピーできるコピー機構を導入し、 OoV の問題に対処する。
• 現実のJavaプロジェクトを対象にベースラインと比較して性能向上を実証する。

提案手法

• 入力コードのサブトークンに対して積み重ねた畳み込み層を介してアテンション特徴を計算する畳み込みアテンショナルネットワークを提案する。
• SoftMax 正規化されたアテンション機構を用いてアテンションウェイトと次のサマリトークンを予測する文脈ベクトルを生成する。
• メタアテンション λ によって、サマリへ入力トークンをコピーするオプションを提供するコピー機構を導入する。
• 畳み込みアテンションとコピーアテンションを組み合わせて、可能なサマリのサブトークン分布を生成する。
• 完全なメソッド名を、ビーム探索/優先度キューのハイブリッド探索戦略で予測し、上位 k 個の候補名を組み立てる。
• 確率的最適化（RMSProp with Nesterov momentum）、ドロップアウト、GRU ベースの状態遷移で訓練し、 OoV トークンをモデル化するコピー目的を含める。

実験結果

リサーチクエスチョン

• RQ1 畳み込みアテンション機構は extreme code summarization において標準アテンションを上回るか？
• RQ2 コピー機構はコードから名前生成時の OoV サブトークンの取り扱いを改善するか？
• RQ3 局所的（翻訳不変性）と長距離のトピカル特徴はアテンションとサマリの質にどう影響するか？
• RQ4 提案手法は現実の11の Java プロジェクトで効果的か？

主な発見

アルゴリズム	F1 ランク1	F1 ランク5	完全一致 ランク1	完全一致 ランク5	適合率 ランク1	適合率 ランク5	再現率 ランク1	再現率 ランク5
tf-idf	40.0	52.1	24.3	29.3	41.6	55.2	41.8	51.9
Standard Attention	33.6	45.2	17.4	24.9	35.2	47.1	35.1	42.1
conv_attention	43.6	57.7	20.6	29.8	57.4	73.7	39.4	51.9
copy_attention	44.7	59.6	23.5	33.7	58.9	74.9	40.1	54.2

• Conv-attention と copy-attention は、tf-idf および標準 Bahdanau アテンションと比較して、複数プロジェクトで F1 および exact-match のスコアがより高い。
• OoV サブトークンをコピーすることは、特にランク 5 で有意な OoV 精度の利点を提供する。
• Copy-attention は、標準アテンションより高い F1（Rank 1: 44.7; Rank 5: 59.6）および exact-match（Rank 1: 23.5; Rank 5: 33.7）を示す。
• プロジェクト横断で平均すると、copy_attention は標準アテンションを上回り、F1 Rank1/Rank5 が 44.7/59.6 に対し 33.6/45.2、exact-match が 23.5/33.7 に対し 17.4/24.9。
• メタアテンション λ は畳み込みアテンションとコピーの間のバランスを効果的に取ることで、堅牢な名前生成を可能にする。
• 現実の11プロジェクトを超えて優位性を示すことは、コード理解と検索の実務的な有用性を示唆している。