[論文レビュー] A Convolutional Attention Network for Extreme Summarization of Source Code

Miltiadis Allamanis, Hao Peng+1 more|arXiv (Cornell University)|Feb 9, 2016

Software Engineering Research参考文献 41被引用数 323

ひとこと要約

この論文は、コピー機構を備えた畳み込みアテンションネットワークを提案し、Javaコードスニペットから簡潔でメソッド名のような要約を生成。10のオープンソースプロジェクトで標準のアテンションとtf-idfのベースラインを上回る。

ABSTRACT

Attention mechanisms in neural networks have proved useful for problems in\nwhich the input and output do not have fixed dimension. Often there exist\nfeatures that are locally translation invariant and would be valuable for\ndirecting the model's attention, but previous attentional architectures are not\nconstructed to learn such features specifically. We introduce an attentional\nneural network that employs convolution on the input tokens to detect local\ntime-invariant and long-range topical attention features in a context-dependent\nway. We apply this architecture to the problem of extreme summarization of\nsource code snippets into short, descriptive function name-like summaries.\nUsing those features, the model sequentially generates a summary by\nmarginalizing over two attention mechanisms: one that predicts the next summary\ntoken based on the attention weights of the input tokens and another that is\nable to copy a code token as-is directly into the summary. We demonstrate our\nconvolutional attention neural network's performance on 10 popular Java\nprojects showing that it achieves better performance compared to previous\nattentional mechanisms.\n

研究の動機と目的

• ソースコードを極端に要約して短く説明的なメソッド名へする動機づけ。
• コード中の翻訳不変性と主題特徴を検出する畳み込みアテンションアーキテクチャを開発する。
• 入力コードの語彙外トークンを扱うためのコピー機構を組み込む。
• 現実のJavaプロジェクトで強力なベースラインと比較して精度と OoV 処理の利点を示す。

提案手法

• 入力トークンの畳み込みを用いて局所的および長距離の特徴を学習する畳み込みアテンションネットワークを導入する。
• 入力サブトークンと前回のデコーダ状態から供給された畳み込み層を介してアテンション特徴を計算する。
• アテンション重みベクターを用いて文脈表現を形成し、次の要約のサブトークンを予測する。
• 有益な場合には入力トークンを直接コピーするコピー機構（メタアテンション）を拡張する。
• 最大尤度で訓練し、ビーム探索とBFSのハイブリッド検索でトップ-kの要約候補を生成する。
• tf-idfとBahdanau型標準アテンションとをベイズ的ハイパーパラメータ最適化付きでプロジェクトごとに評価する。

実験結果

リサーチクエスチョン

• RQ1 コードにおける翻訳不変性特徴を効果的に識別して極端なコード要約を改善できるか？
• RQ2 コピー機構を追加することで語彙外トークンの処理と全体的な要約品質が向上するか？
• RQ3 提案モデルは実際のJavaプロジェクトでtf-idfと標準アテンションのベースラインとどう比較されるか？
• RQ4 アーキテクチャの選択肢（アテンション特徴、メタアテンションのラムダ）による正確一致とF1性能への影響は？
• RQ5 モデルをプロジェクトごとに訓練する方が共同で複数プロジェクトを学習するより効果的か？

主な発見

プロジェクト	tf-idf Rank1	tf-idf Rank5	標準アテンション Rank1	標準アテンション Rank5	conv_attention Rank1	conv_attention Rank5	copy_attention Rank1	copy_attention Rank5
cassandra	40.9	52.0	35.1	45.0	46.5	60.0	48.1	63.1
elasticsearch	27.8	39.5	20.3	29.0	30.8	45.0	31.7	47.2
gradle	30.7	45.4	23.1	37.0	35.3	52.5	36.3	54.0
hadoop-common	34.7	48.4	27.0	45.7	38.0	54.0	38.4	55.8
hibernate-orm	53.9	63.6	49.3	55.8	57.5	67.3	58.7	69.3
intellij-community	28.5	42.1	23.8	41.1	33.1	49.6	33.8	51.5
liferay-portal	59.6	70.8	55.4	70.6	63.4	75.5	65.9	78.0
presto	41.8	53.2	33.4	41.4	46.3	59.0	46.7	60.2
spring-framework	35.7	47.6	29.7	41.3	35.9	49.7	36.8	51.9
wildfly	45.2	57.7	32.6	44.4	45.5	61.0	44.7	61.7

• Conv_attentionとcopy_attentionは、F1および正確一致の指標で標準アテンションおよびtf-idfベースラインをプロジェクト横断で上回る。
• コピー機構はランク5でのF1を向上させ、訓練時に見られなかった入力トークンを活用して正確一致のリコールを改善する。
• 語彙外サブトークンはコピーで部分的に対処可能で、OoV 精度は全体で平均4.4%（Rank 1）および19.4%（Rank 5）となる。
• Copy_attentionは標準アテンションよりRank1で44.7、Rank5で59.6のF1を達成する。
• 標準のBahdanau型アテンションはこの領域でtf-idfを下回り、コードの長い入力系列と構造的性質を浮き彫りにする。
• 畳み込みアテンションによるトピックと局所特徴の検出は、plainな biRNN が学べる以上の長距離手掛かりを捉えるのに役立つ。