[論文レビュー] Retrieval-Augmented Generation for Code Summarization via Hybrid GNN

Shangqing Liu, Yu Chen+3 more|arXiv (Cornell University)|Jun 9, 2020

Natural Language Processing Techniques参考文献 41被引用数 68

ひとこと要約

この論文は Retrieval-Augmented Hybrid Graph Neural Network (HGNN) をコード要約のために提案し、似たコードと要約をデータベースから取得する augmentation を組み合わせ、静的グラフと動的グラフを統合するハイブリッド GNN で C コードの自然言語要約を生成して、CCSD ベンチマークで最先端の結果を達成します。

ABSTRACT

Source code summarization aims to generate natural language summaries from structured code snippets for better understanding code functionalities. However, automatic code summarization is challenging due to the complexity of the source code and the language gap between the source code and natural language summaries. Most previous approaches either rely on retrieval-based (which can take advantage of similar examples seen from the retrieval database, but have low generalization performance) or generation-based methods (which have better generalization performance, but cannot take advantage of similar examples). This paper proposes a novel retrieval-augmented mechanism to combine the benefits of both worlds. Furthermore, to mitigate the limitation of Graph Neural Networks (GNNs) on capturing global graph structure information of source code, we propose a novel attention-based dynamic graph to complement the static graph representation of the source code, and design a hybrid message passing GNN for capturing both the local and global structural information. To evaluate the proposed approach, we release a new challenging benchmark, crawled from diversified large-scale open-source C projects (total 95k+ unique functions in the dataset). Our method achieves the state-of-the-art performance, improving existing methods by 1.42, 2.44 and 1.29 in terms of BLEU-4, ROUGE-L and METEOR.

研究の動機と目的

• コードと要約の異質性と複雑さのために自動コード要約を動機付ける。
• データベースから類似コードと要約を活用する retrieval-augmented generation フレームワークを開発する。
• 静的なコード特性グラフと動的に構築されるグローバル・アテンション・グラフを結ぶ Hybrid GNN を導入し、グローバル情報の流れを実現する。
• CCSD の大規模 C コード要約ベンチマークを公開し、最先端の性能を示す。
• 寄与と堅牢性を検証するアブレーションと人間評価を提供する。

提案手法

• AST から複数のエッジタイプを持つ Code Property Graph (CPG) を構築し、ノードを BiLSTM ベースの表現でエンコードする。
• 現在の CPG と retrieved CPG の間の attention によって retrieved コードの意味を注入する retrieval ベースの augmentation を導入し、 augmented ノード表現と元のノード表現を統合する。
• 構造を意識した動的グラフ A_dyn を計算し、任意のノード対間でグローバルな注意ベースのメッセージパッシングを可能にする。
• 静的（augmented）および動的グラフ情報をゲート付き融合機構とGRU更新で統合する Hybrid Message Passing (HMP) を実行し、グラフレベルの max-pooling で表現を得る。
• 最終グラフ表現と retrieved 要約特徴に対して注意機構を用いた LSTM で要約をデコードし、クロスエントロピー損失とスケジュールサンプリングで学習する。
• CCSD データセットの 95k+ の C 関数-要約ペアを対象に、 retrieval ベース、シーケンスベース、グラフベースのベースラインと比較評価し、ドメイン内外の splits を含む。

実験結果

リサーチクエスチョン

• RQ1 retrieval augmented フレームワークは 既存の類似コードと要約を活用してコード要約を改善できるか？
• RQ2 静的で retrieval-augmented なコードグラフと動的なグローバル・アテンション・グラフを結合することで、局所とグローバルのコード意味論を捉え、より良い要約を生み出せるか？
• RQ3 コードベースの augmentation と要約ベースの augmentation の貢献は要約の品質にどの程度影響するか？
• RQ4 提案する HGNN はドメイン内外のコード、特に C 言語において一般化できるか？
• RQ5 HGNN は自動評価と人間評価のいずれにおいて最先端のベースラインと比較してどうか？

主な発見

Method	BLEU-4 (In-domain)	ROUGE-L (In-domain)	METEOR (In-domain)	BLEU-4 (Out-of-domain)	ROUGE-L (Out-of-domain)	METEOR (Out-of-domain)	BLEU-4 (Overall)	ROUGE-L (Overall)	METEOR (Overall)
HGNN w/o augment	12.33	29.99	13.78	5.45	22.07	12.32	10.26	27.17	12.32
HGNN w/o static	15.93	33.67	15.67	7.72	24.69	10.63	13.44	30.47	13.98
HGNN w/o dynamic	15.77	33.84	15.67	7.64	24.72	10.73	13.31	30.59	14.01
HGNN w/o augment & static	11.75	29.59	13.86	5.57	22.14	9.41	9.98	26.94	12.05
HGNN w/o augment & dynamic	11.85	29.51	13.54	5.45	21.89	9.59	9.93	26.80	12.21
HGNN	16.72	34.29	16.25	7.85	24.74	11.05	14.01	30.89	14.50

• HGNN は BLEU-4、ROUGE-L、METEOR の各指標で、ドメイン内外のデータにおいてベースラインを上回る（総合的な利益は BLEU-4、ROUGE-L、METEOR で Rencos より 1.42、2.44、1.29）。
• retrieval augmentation は性能向上に寄与し、静的および動的グラフと組み合わせたときに追加の利得がある。
• 静的グラフと動的グラフの双方が寄与しており、静的または動的成分を除くと性能が低下する。特に ROUGE-L と METEOR に対する静的寄与が顕著。
• 要約ベースの augmentation はコードベースの augmentation より大きな利得をもたらし、両方を組み合わせると全体として最良の結果になる。
• 人間評価では HGNN が NNGen、Transformer、Rencos、SeqGNN と比較して関連性と類似度スコアで高い成果を示す。
• 新しい CCSD ベンチマーク（C 言語）はコード要約のために公開された。