[論文レビュー] Learning to Execute Programs with Instruction Pointer Attention Graph Neural Networks

David Bieber, Charles Sutton+2 more|arXiv (Cornell University)|Oct 23, 2020

Software Engineering Research参考文献 25被引用数 10

ひとこと要約

本論文は、制御フローグラフ上の命令ポインタ遷移のトレースとしてプログラム実行をモデル化することにより、RNNの逐次的推論とGNNの構造的インダクティブバイアスを組み合わせた、新しいアーキテクチャである指令ポインタアテンションGNN（IPA-GNN）を提案する。IPA-GNNは、完全および部分的プログラム実行タスクにおいて、RNNおよびGNNのベースラインを上回り、離散的分岐決定とショートサーキット実行を学習することで、体系的一般化の向上を達成する。

ABSTRACT

Graph neural networks (GNNs) have emerged as a powerful tool for learning software engineering tasks including code completion, bug finding, and program repair. They benefit from leveraging program structure like control flow graphs, but they are not well-suited to tasks like program execution that require far more sequential reasoning steps than number of GNN propagation steps. Recurrent neural networks (RNNs), on the other hand, are well-suited to long sequential chains of reasoning, but they do not naturally incorporate program structure and generally perform worse on the above tasks. Our aim is to achieve the best of both worlds, and we do so by introducing a novel GNN architecture, the Instruction Pointer Attention Graph Neural Networks (IPA-GNN), which achieves improved systematic generalization on the task of learning to execute programs using control flow graphs. The model arises by considering RNNs operating on program traces with branch decisions as latent variables. The IPA-GNN can be seen either as a continuous relaxation of the RNN model or as a GNN variant more tailored to execution. To test the models, we propose evaluating systematic generalization on learning to execute using control flow graphs, which tests sequential reasoning and use of program structure. More practically, we evaluate these models on the task of learning to execute partial programs, as might arise if using the model as a heuristic function in program synthesis. Results show that the IPA-GNN outperforms a variety of RNN and GNN baselines on both tasks.

研究の動機と目的

• 従来のモデルが、通常のGNNの伝播ステップをはるかに超える長大な逐次的チェーンを必要とするプログラム実行の推論に限界を示していることに対処する。
• RNNは逐次的推論に優れているが構造的認識が弱いのに対し、GNNは構造に優れているが逐次的推論に限界があるというギャップを、統合されたアーキテクチャで埋める。
• 分布シフトや部分的プログラム入力の下で、プログラム実行タスクにおける体系的一般化を評価する。
• 欠落またはマスキングされたコードを含むプログラムの実行を学習することで、プログラム合成におけるヒューリスティックとしてのモデルを構築する。
• アテンション機構が、関連する実行パスに注目し、余分なステップをスキップすることで、インタプリタの挙動を模倣できるかどうかを示す。

提案手法

• IPA-GNNは、各ノードがプログラム文を表す制御フローグラフ上で、指令ポインタの状態のトレースとしてプログラム実行をモデル化する。
• グラフニューラルネットワークを用いて制御フローグラフ全体にメッセージを伝搬させ、現在の指令ポインタ位置に注目するアテンション機構を導入する。
• ノードに対するソフトアテンション機構を用いて、指令ポインタの移動をシミュレートし、実行すべき次のステートメントを動的に選択可能にする。
• 潜在的な分岐決定を伴う確率的RNNモデルから導出されたアーキテクチャであり、これはノード状態に対するアテンションを伴うGNNとして再解釈される。
• 初期状態と制御フローグラフが与えられたもとで、最終的なプログラム状態を予測するように、プログラム実行トレースを教師あり学習で端末から端末まで訓練する。
• アブレーションスタディにより、指令ポインタアテンションが極めて重要であることが示され、これを欠いたモデルは著しく性能を低下させる。

実験結果

リサーチクエスチョン

• RQ1 RNNの逐次的推論の長所とGNNの構造的インダクティブバイアスの長所を統合したニューラルアーキテクチャは、プログラム実行予測の性能向上に寄与できるか？
• RQ2 IPA-GNNは、実行時の分布シフト下でも、RNNやGNNと比較して優れた体系的一般化を示すか？
• RQ3 モデルは、すべてのノードに対する連続的アテンションに依存するのではなく、離散的かつ解釈可能な分岐決定を学習できるか？
• RQ4 部分的プログラム実行（例：プログラミング・バイ・エクサムプ設定におけるコードの一部がマスキングされた状態）において、モデルはどのように性能を発揮するか？
• RQ5 モデルはショートサーキット実行を学習することができ、最適化されたインタプリタの挙動を模倣するのか？そして、そのような挙動は一般化性能の向上に寄与するか？

主な発見

• IPA-GNNは、完全なプログラム実行タスクで62.1%の精度、部分的プログラム実行タスクで29.1%の精度を達成し、すべてのRNNおよびGNNベースラインを上回る。
• 複雑なプログラムでは、IPA-GNNがベースラインと比較して優れた性能を維持するが、ベースラインはプログラムの複雑さが増すにつれて著しく性能を低下させる。
• モデルは大多数のケースで離散的分岐決定を学習しており、すべてのノードに対する連続的アテンションに依存するのではなく、制御フローの意味論を内部に内化していることが示唆される。
• IPA-GNNはショートサーキット実行を学習する：例えば、whileループ本体へのアテンションは1回のみであるが、正解トレースでは7回訪問されている。
• アブレーションスタディにより、指令ポインタアテンションを削除した場合（NoExecute）の性能低下が顕著に確認され、一般化性能にとってその重要性が裏付けられる。
• アテンション重みの可視化により、モデルが関連する実行パスにのみ注目していることが明らかとなり、プログラム理解における人間のような推論を模倣していることが示された。