[論文レビュー] Toward a Theory of Causation for Interpreting Neural Code Models

David N. Palacio, Velasco, Alejandro+4 more|arXiv (Cornell University)|Feb 7, 2023

Natural Language Processing Techniques参考文献 81被引用数 6

ひとこと要約

この論文では、コードの構文と構造を因果変数としてモデル化することで、モデルの予測を説明する因果推論に基づく後処理解釈フレームワークである do code を導入する。構造的因果モデル（SCM）と反事後的介入を用いることで、NCMs が構文的変化に対して感受性を示し、混同バイアスが低減された形でコードブロック（例：波括弧、セミコロン）を予測するよう学習していることが明らかになった。これは、モデルのバイアスや限界を検出する強固な手法を提供する。

ABSTRACT

Neural Language Models of Code, or Neural Code Models (NCMs), are rapidly progressing from research prototypes to commercial developer tools. As such, understanding the capabilities and limitations of such models is becoming critical. However, the abilities of these models are typically measured using automated metrics that often only reveal a portion of their real-world performance. While, in general, the performance of NCMs appears promising, currently much is unknown about how such models arrive at decisions. To this end, this paper introduces $do_{code}$, a post hoc interpretability method specific to NCMs that is capable of explaining model predictions. $do_{code}$ is based upon causal inference to enable programming language-oriented explanations. While the theoretical underpinnings of $do_{code}$ are extensible to exploring different model properties, we provide a concrete instantiation that aims to mitigate the impact of spurious correlations by grounding explanations of model behavior in properties of programming languages. To demonstrate the practical benefit of $do_{code}$, we illustrate the insights that our framework can provide by performing a case study on two popular deep learning architectures and ten NCMs. The results of this case study illustrate that our studied NCMs are sensitive to changes in code syntax. All our NCMs, except for the BERT-like model, statistically learn to predict tokens related to blocks of code (\eg brackets, parenthesis, semicolon) with less confounding bias as compared to other programming language constructs. These insights demonstrate the potential of $do_{code}$ as a useful method to detect and facilitate the elimination of confounding bias in NCMs.

研究の動機と目的

• 商業ツールでますます利用が進むが、ブラックボックスのままであるニューラルコードモデル（NCMs）における解釈可能性の欠如に対処すること。
• BLEU や ROUGE といった自動指標にとどまらず、モデルの限界やバイアスを捉えられないことの是正。
• 言語的および構文的特性に焦点を当て、NCMs がどのように予測を行うかを説明する体系的で因果に基づいた手法の開発。
• 反事後的推論を用いて、NCMs における誤った相関関係や混同バイアスを特定するデバッグツールの提供。
• 深層学習のソフトウェア工学応用における因果的解釈可能性の再利用可能なフレームワークの確立。

提案手法

• 本手法は、ペイジの構造的因果モデル（SCM）フレームワークに基づく。コード構造を処置（treatment）とし、モデルの予測を結果（outcome）とし、共通のコードパターンを交絡要因（confounder）としてモデル化する。
• do 演算子を用いて、コードブロックの置換や構文の変更といった介入をシミュレートし、モデル予測の変化を観察する。
• 平均処置効果（ATE）を用いて、構文的および構造的変更がモデル行動に与える因果的影響を定量化する。
• 因果推定の妥当性を検証し、誤った関連性を検出するために、再現性手法（refutation methods）を組み込む。
• 敵対的または合成的摂動を避けて、スケールで収集された実世界のコード分布を用いてフレームワークを実装する。
• 研究者が解釈関数を構築し、SCM を定義し、データを収集し、因果効果を推定し、仮定を検証するための 5 ステップチェックリストを提供する。

Figure 1 : (a) Structural Causal Model representing cause-effect relationships of program repair in NCMs. (b) The SCM after intervening the treatment with Fixed Code .

実験結果

リサーチクエスチョン

• RQ1 NCMs は、コード構文および構造に対する制御された変更にどのように反応するのか。また、これらの変更が引き起こす因果的効果は何か。
• RQ2 NCMs は、構文的マーカー（例：波括弧、セミコロン）に依存するのに対し、意味的構造（例：条件分岐、ループ）に比べてどの程度に依存しているのか。
• RQ3 因果推論手法は、コードトークンを予測する際の混同バイアスを検出し、定量化できるか。
• RQ4 異なるアーキテクチャ（例：RNN、Transformers）は、構文的摂動に対してどの程度感受性を示すか。
• RQ5 SCM から導かれる反事後的説明は、標準的指標では露わにならない NCM の隠れたバイアスや限界を明らかにできるか。

主な発見

• NCMs は、波括弧、括弧、セミコロンなどの構文的トークンの予測において、構文的変更に対して顕著な感受性を示す。
• コードブロックの予測において、混同バイアスが低減されていることから、構造的パターンに対するより強固な理解が得られていることが示された。
• 平均処置効果を用いることで、do code は構文的摂動がモデル予測に測定可能なシフトを引き起こすことを定量化し、背後にあるバイアスを明らかにした。
• 再現性手法は誤った相関関係を効果的に検出し、本フレームワークが生成する因果推定の信頼性を検証した。
• RNN、GRU、Transformers を対象とした事例研究により、do code が誤ったコード概念の予測（特に条件分岐やループにおいて）を露わにできることを確認した。
• 本フレームワークは、特定のコード構造の因果的影響を分離することで、NCMs の体系的デバッグを可能にし、より信頼性が高く解釈可能なコード生成への道筋を提供する。

Figure 2 : Structural Code Taxonomy $\mathcal{H}$ for Java