[論文レビュー] Learning Graph Structure With A Finite-State Automaton Layer

Daniel D. Johnson, Hugo Larochelle+1 more|arXiv (Cornell University)|Jul 9, 2020

Machine Learning and Algorithms参考文献 40被引用数 4

ひとこと要約

本稿では、有限状態オートマトンが受理する経路をモデル化することで、グラフ構造データにおける抽象的関係的エッジを学習する微分可能グラフ有限状態オートマトン（GFSA）レイヤーを提案する。グラフベースの部分的に観測可能なマルコフ決定過程（POMDP）における陰関数微分を用いることで、GFSAレイヤーはエンドツーエンドで意味的でタスク最適化されたエッジを学習する。プログラム解析およびグリッドワールド推論タスクにおいて、手作業で設計されたまたは学習されたベースラインと比較して優れた性能を示した。

ABSTRACT

Graph-based neural network models are producing strong results in a number of domains, in part because graphs provide flexibility to encode domain knowledge in the form of relational structure (edges) between nodes in the graph. In practice, edges are used both to represent intrinsic structure (e.g., abstract syntax trees of programs) and more abstract relations that aid reasoning for a downstream task (e.g., results of relevant program analyses). In this work, we study the problem of learning to derive abstract relations from the intrinsic graph structure. Motivated by their power in program analyses, we consider relations defined by paths on the base graph accepted by a finite-state automaton. We show how to learn these relations end-to-end by relaxing the problem into learning finite-state automata policies on a graph-based POMDP and then training these policies using implicit differentiation. The result is a differentiable Graph Finite-State Automaton (GFSA) layer that adds a new edge type (expressed as a weighted adjacency matrix) to a base graph. We demonstrate that this layer can find shortcuts in grid-world graphs and reproduce simple static analyses on Python programs. Additionally, we combine the GFSA layer with a larger graph-based model trained end-to-end on the variable misuse program understanding task, and find that using the GFSA layer leads to better performance than using hand-engineered semantic edges or other baseline methods for adding learned edge types.

研究の動機と目的

• グラフ構造データにおける高レベルで抽象的な関係を自動的に学習し、下流のモデル性能を向上させるという課題に対処すること。
• プログラム解析技術にインspiredされた有限状態オートマトンを用いて、経路ベースの到達可能性制約として導出された関係をモデル化すること。
• グラフ上の部分的に観測可能なマルコフ決定過程（POMDP）における微分可能ポリシー学習により、これらの関係のエンドツーエンド訓練を可能にすること。
• GFSAを用いて学習された関係が、プログラム理解およびナビゲーションタスクにおいて、手作業で設計されたエッジや他のベースラインを上回ることを示すこと。
• ドメイン固有の関係的インダクティブバイアスをグラフニューラルネットワークに組み込むための微分可能で解釈可能なメカニズムを提供すること。

提案手法

• GFSAレイヤーは、ノードおよびエッジラベルに条件付けられた遷移を持つ有限状態オートマトン（FSA）ポリシーを定義する。
• FSAポリシーは、グラフベースのPOMDPにおける陰関数微分を用いて訓練され、オートマトンの経路選択を逆伝播可能にする。
• このレイヤーは、FSAで受理された経路に対応する新しいエッジタイプを表す重み付き隣接行列を出力する。
• 離散的経路選択を確率的リラクゼーションと勾配推定を用いて連続的・微分可能最適化問題に緩和する。
• FSAポリシーは、中間ステップに監視信号がなく、開始ノードと終了ノードでのみ監視を受けながら、下流タスクの性能を最大化するように訓練される。
• このアプローチは、GGNN、RAT、GREATなどの既存のグラフニューラルネットワークにスムーズに統合可能であり、GFSAレイヤーを学習可能なコンponentとしてエンドツーエンド訓練を可能にする。

実験結果

リサーチクエスチョン

• RQ1 中間ステップの経路ステップに明示的监督なしに、微分可能なレイヤーがグラフ内で抽象的でタスク関連の関係を学習できるか？
• RQ2 有限状態オートマトンを用いた関係学習が、ランダムウォークや強化学習ベースラインと比較して、グラフ推論タスクにおいてより優れたインダクティブバイアスを提供するか？
• RQ3 GFSAレイヤーは、PythonコードのASTにおいて、既知のプログラム解析パターン（例：データ依存関係）を再現できるか？
• RQ4 GFSAレイヤーは、プログラム理解タスクにおける手作業で設計された意味的エッジと比較して、性能が優れているか？
• RQ5 GFSAレイヤーは、経路構造に明示的监督なしに、構造的環境（例：グリッドワールド）で有用なショートカットを発見できるか？

主な発見

• RATモデルにおけるローゲーションタスクで、GFSAレイヤーは94.058 ± 0.064の精度を達成し、手作業で設計されたエッジ（93.100 ± 0.069）およびすべてのベースラインを上回った。
• GREATモデルでは、ローケーションタスクでGFSAレイヤーは93.266 ± 0.068の精度を達成し、次に優れた手法（NRIヘッド：92.446 ± 0.072）を上回った。
• グリッドワールドタスクでは、中間位置から学習した場合、GFSAレイヤーは93.612 ± 0.066の精度を達成し、RLアブレーション（90.643 ± 0.079）およびランダムウォーク（92.644 ± 0.071）を上回った。
• GFSAレイヤーは、PythonのASTにおけるLastReadプログラム解析パターンを正しく再現し、可視化されたオートマトン動作が期待される逆実行意味論と一致した。
• 一部の設定では、GFSAレイヤーは、手作業で設計されたエッジよりも最大1.5%、ベースのASTオンリーモデルよりも3%高い性能を変数誤用検出タスクで示した。
• GFSAレイヤーは一般化能力に優れ、未観測のグリッドワールドレイアウトにおいても効果的な経路探索ポリシーを学習し、コード内の関連するプログラム依存関係を正しく同定した。