[論文レビュー] Equivalence of Dataflow Graphs via Rewrite Rules Using a Graph-to-Sequence Neural Model

Steve Kommrusch, Théo Barollet+1 more|arXiv (Cornell University)|Feb 17, 2020

Software Testing and Debugging Techniques参考文献 50被引用数 4

ひとこと要約

本稿では、1つのデータフローグラフを別のデータフローグラフに変換する証明可能に正しいリライトシーケンスを生成する、プログラム同等性のための最初のグラフからシーケンスへのニューラルネットワーク、pe-graph2seqを紹介する。線形代数言語（100以上の同等性公理を備える）で学習させた結果、10,000組のテストペアにおいて96%の正答率を達成し、推論時間は16msで、すべての出力が無視できる時間で決定的に検証可能である。

ABSTRACT

In this work we target the problem of provably computing the equivalence between two programs represented as dataflow graphs. To this end, we formalize the problem of equivalence between two programs as finding a set of semantics-preserving rewrite rules from one into the other, such that after the rewrite the two programs are structurally identical, and therefore trivially equivalent. We then develop the first graph-to-sequence neural network system for program equivalence, trained to produce such rewrite sequences from a carefully crafted automatic example generation algorithm. We extensively evaluate our system on a rich multi-type linear algebra expression language, using arbitrary combinations of 100+ graph-rewriting axioms of equivalence. Our system outputs via inference a correct rewrite sequence for 96% of the 10,000 program pairs isolated for testing, using 30-term programs. And in all cases, the validity of the sequence produced and therefore the provable assertion of program equivalence is computable, in negligible time.

研究の動機と目的

• 機械学習を用いて2つのデータフローグラフ間の証明可能なプログラム同等性を検証する課題に取り組む。
• バイナリ予測を行う確率的ニューラルネットワークの限界を克服し、決定的かつ検証可能な証明シーケンスを生成することで、プログラム同等性の分野における限界を越える。
• 2つの同等なプログラムを構造的に同一にすることを目的とした、意味を保つグラフリライトルールのシーケンスを出力するニューラルシステムを開発する。
• すべての出力が無視できる時間で検証可能であることを保証することで、誤検出を回避し、効率的かつ正確な同等性チェックを実現する。
• 豊富な代数的リライト公理を備えた複雑で多様な型を有する線形代数式言語において、本手法を実証する。

提案手法

• 演算子と値のノード、およびデータ依存関係を表すエッジを持つ、有向かつ根付きのデータフローグラフとしてプログラムを表現する。
• 1つのグラフから別のグラフに変換する意味を保つグラフリライトルールのシーケンスの存在として、プログラム同等性を形式化する。
• 部分グラフに適用可能なリライトルールとして、100以上の同等性公理（例：1*x → x、a*(b+c) → a*b + a*c）を定義する。
• 入力グラフからこのようなリライトルールのシーケンスを予測するグラフからシーケンスへのニューラルネットワーク（pe-graph2seq）を訓練する。
• 既知の正しいリライトシーケンスを備えた10,000組のトレーニングペアを合成するためのカスタム自動例生成パイプラインを活用する。
• 予測されたリライトシーケンスを1つのグラフに適用し、深さ優先走査を用いて構造的同一性をチェックすることで、出力を検証する。

実験結果

リサーチクエスチョン

• RQ1 ニューラルネットワークを訓練して、1つのデータフローグラフを、同等な別のデータフローグラフに証明可能に変換するリライトルールのシーケンスを生成することは可能か？
• RQ2 このようなシステムは、非同等な入力がすべて正しく拒否されることを保証でき、誤検出を回避できるか？
• RQ3 ニューラルネットワークの出力は、無視できる時間で決定的に検証可能か？ これにより実用的導入が可能か？
• RQ4 モデルは、部分木の再配置、ノードの削除、再順序化を含む複雑なリライトシーケンスを、豊富な代数的言語内で効果的に学習できるか？
• RQ5 アテンション機構を備えたグラフからシーケンスモデルは、同等性を保つ変換の組み合わせ的空間を効果的に探索するためのヒューリスティクスを学習できるか？

主な発見

• pe-graph2seqモデルは、多様な型を有する線形代数言語における10,000組のテストプログラムペアのうち96%について、正しいかつ検証可能なリライトシーケンスを生成した。
• すべての出力は、リライトシーケンスを適用し、構造的同一性を比較することで、無視できる時間で決定的に検証可能である。
• システムは誤検出を一切生じない：設計上、非同等なプログラムを正しく非同等と特定する。
• 1組あたりの平均推論時間は16msであり、実用的利用に適した高い効率性を示している。
• モデルは、部分木の再配置、ノードの削除、代数的簡略化を含む複雑な変換に対しても一般化している。
• 本手法は、グラフニューラルネットワークが、同等性を保つリライトの組み合わせ的空間を効果的に探索するためのヒューリスティクスを学習できることを示している。