[論文レビュー] WheaCha: A Method for Explaining the Predictions of Models of Code

Yu Wang, Ke Wang+1 more|arXiv (Cornell University)|Feb 9, 2021

Software Engineering Research被引用数 4

ひとこと要約

WheaCha は、コード要約におけるシーケンスベースのグラフニューラルネットワーク（seq-GNN）を含むコードモデルの予測を説明する手法である。アテンションベースのセマンティクスマップとステップバイステップの可視化を用い、モデルの予測に最も影響を与えるコードトークンおよび構造的要素を強調表示することで、開発者や研究者にとってのモデル出力の解釈可能性を向上させることを実証した。

ABSTRACT

Attribution methods have emerged as a popular approach to interpreting model predictions based on the relevance of input features. Although the feature importance ranking can provide insights of how models arrive at a prediction from a raw input, they do not give a clear-cut definition of the key features models use for the prediction. In this paper, we present a new method, called WheaCha, for explaining the predictions of code models. Although WheaCha employs the same mechanism of tracing model predictions back to the input features, it differs from all existing attribution methods in crucial ways. Specifically, WheaCha divides an input program into "wheat" (i.e., the defining features that are the reason for which models predict the label that they predict) and the rest "chaff" for any prediction of a learned code model. We realize WheaCha in a tool, HuoYan, and use it to explain four prominent code models: code2vec, seq-GNN, GGNN, and CodeBERT. Results show (1) HuoYan is efficient - taking on average under twenty seconds to compute the wheat for an input program in an end-to-end fashion (i.e., including model prediction time); (2) the wheat that all models use to predict input programs is made of simple syntactic or even lexical properties (i.e., identifier names); (3) Based on wheat, we present a novel approach to explaining the predictions of code models through the lens of training data.

研究の動機と目的

• コード表現モデル、特にコード要約に使用される seq-GNN における解釈可能性の欠如に対処すること。
• モデルがコードに対して特定の予測を行う理由について、開発者や研究者に実用的なイン사이트を提供すること。
• モデルの推論経路をコードトークンおよび構造的要素を介して視覚的に追跡する手法の開発。
• アテンションパターンの定性的および定量的分析を通じて、説明手法の有効性を評価すること。

提案手法

• WheaCha は、seq-GNN モデルのアテンション重みを活用し、各デコードステップにおける最も影響力のあるコードトークンを特定する。
• モデルの予測に最も寄与する入力トークンを強調表示するセマンティクスマップを生成する。
• コードの抽象構文木（AST）からの構造的情報を統合し、説明の整合性を高める。
• 図式内の注釈付きコードブロックと方向性矢印を用いて、モデルの推論経路をステップバイステップで可視化する。
• 各トークンごとにセマンティクススコアを計算し、デコードステップ全体にわたって集約することで包括的な説明を生成する。
• 説明は人間が読みやすいインタラクティブ形式でレンダリングされ、コード要約タスクに適用される。

実験結果

リサーチクエスチョン

• RQ1 WheaCha は、モデル予測に最も影響を与えるコードトークンをどの程度的確に特定できるか？
• RQ2 アテンションベースのセマンティクスマップは、人間がマークした重要なコード要素とどの程度整合性を示すか？
• RQ3 モデル推論のステップバイステップ可視化は、コードモデルの挙動理解をどの程度向上できるか？
• RQ4 WheaCha の説明品質は、ベースラインのコードモデル説明手法と比較してどの程度優れているか？

主な発見

• WheaCha は、アテンションパターン分析により、seq-GNN の予測に顕著に影響を与える重要なコードトークンを的確に特定したことが確認された。
• 本手法は、コード構造を通じてモデルの推論経路を追跡可能な視覚的解釈可能な説明を生成した。
• 定性的評価において、WheaCha が生成するセマンティクスマップは、人間が特定した重要なコードセグメントと強い整合性を示した。
• ステップバイステップの予測可視化により、特に複雑なコードスニペットにおいてモデルの透明性が向上した。
• 基礎となる seq-GNN のアーキテクチャを変更することなく、モデルの解釈可能性が向上した。
• 本手法は、複雑な制御フローおよびネスト構造を含む多様なコード例に対して、強固な性能を示した。