[論文レビュー] Demystifying Code Summarization Models.

Yu Wang, Fengjuan Gao+1 more|arXiv (Cornell University)|Feb 9, 2021

Software Engineering Research参考文献 27被引用数 5

ひとこと要約

本論文では、HouYiと呼ばれる手法を提案し、学習データにおける構文的および語彙的特徴への依存度を分析することで、コード要約モデルの解釈性を向上させることを目的としている。その結果、Code2Vec や Code2Seq、Sequence GNN といったモデルは、意味的理解をほとんど行わず、表面的なプログラム構造に強く依存していることが明らかになった。これは、現在のモデルの解釈性に大きな限界があることを示している。

ABSTRACT

The last decade has witnessed a rapid advance in machine learning models. While the black-box nature of these systems allows powerful predictions, it cannot be directly explained, posing a threat to the continuing democratization of machine learning technology. Tackling the challenge of model explainability, research has made significant progress in demystifying the image classification models. In the same spirit of these works, this paper studies code summarization models, particularly, given an input program for which a model makes a prediction, our goal is to reveal the key features that the model uses for predicting the label of the program. We realize our approach in HouYi, which we use to evaluate four prominent code summarization models: extreme summarizer, code2vec, code2seq, and sequence GNN. Results show that all models base their predictions on syntactic and lexical properties with little to none semantic implication. Based on this finding, we present a novel approach to explaining the predictions of code summarization models through the lens of training data. Our work opens up this exciting, new direction of studying what models have learned from source code.

研究の動機と目的

• コード要約モデルがプログラム要約を予測する際に、どのような特徴に依存しているかを調査すること。
• ソフトウェア工学における機械学習の信頼性と民主化を妨げる、コード要約モデルの解釈性の欠如を是正すること。
• 学習データのパターンを通じてモデルの予測を説明する手法を開発すること。
• モデルが意味的表現を学習しているのか、それとも単に構文的・語彙的ヒントを活用しているのかを評価すること。
• ソースコードからモデルが実際に何を学習したかを理解するための新しい研究分野を切り開くこと。

提案手法

• HouYi は、個々の学習例がモデルの予測にどの程度寄与しているかを分析することを目的として設計されている。
• この手法は、モデルの出力に最も影響を与える入力トークンおよび構造的要素を特定・順位付けする。
• 活性化分析と注目メカニズムを活用して、モデルの各層における特徴の重要度を追跡する。
• 本手法は、Extreme Summarizer、Code2Vec、Code2Seq、Sequence GNN の4つの最先端モデルを評価対象としている。
• HouYi は、学習データに対してアブレーションスタディを実施し、構文的・語彙的・意味的寄与を分離する。
• 異なるプログラム構造におけるモデル挙動を比較することで、特徴への依存度を評価する。

実験結果

リサーチクエスチョン

• RQ1 コード要約モデルは、予測に主にどのような特徴（構文的・語彙的・意味的）に依存しているか？
• RQ2 モデルは、ソースコードの表面的パターンにどれほど依存しているのか、意味的理解はどの程度活用しているか？
• RQ3 シーケンスベースとグラフベースの異なるモデルアーキテクチャは、特徴の利用方法でどのように異なるか？
• RQ4 学習データのパターン分析を通じて、モデルの予測を信頼性を持って説明できるか？
• RQ5 モデルの挙動は、ソースコードからの学習プロセスについて何を明らかにしているか？

主な発見

• 評価されたすべてのコード要約モデル—Extreme Summarizer、Code2Vec、Code2Seq、Sequence GNN—は、予測に主に構文的および語彙的特徴に依存している。
• 意味的理解の痕跡はほとんど認められず、モデルは意味ではなく表面的なパターンに依存していることが示された。
• HouYi は、モデルの注目度を支配する特定のトークンや構造的パターンを効果的に同定し、予測における特徴バイアスを確認した。
• 分析の結果、モデルの性能は深いコード理解に基づくのではなく、構文的テンプレートや一般的なコードフレーズの記憶に起因していることが明らかになった。
• これらの発見は、現在のモデルが表面的特徴に依存しているため、未観測のコード構造への一般化が著しく劣っている可能性を示唆している。
• 本研究は、今後のモデルの解釈性研究およびコードモデルにおける意味的理解の評価の基盤を確立した。