[論文レビュー] Learning Discrete Structures for Graph Neural Networks

Luca Franceschi, Mathias Niepert+2 more|arXiv (Cornell University)|Mar 28, 2019

Advanced Graph Neural Networks参考文献 57被引用数 146

ひとこと要約

本論文は、疎な確率的グラフ生成器とGCNパラメータを同時に学習する二階層フレームワークであるLDSを提案し、グラフが欠落しているかノイズがある場合でもグラフベースの学習を可能にする。離散的エッジ変数を最適化するために直通推定器を用いたハイパーグラデントベースの学習を利用する。

ABSTRACT

Graph neural networks (GNNs) are a popular class of machine learning models whose major advantage is their ability to incorporate a sparse and discrete dependency structure between data points. Unfortunately, GNNs can only be used when such a graph-structure is available. In practice, however, real-world graphs are often noisy and incomplete or might not be available at all. With this work, we propose to jointly learn the graph structure and the parameters of graph convolutional networks (GCNs) by approximately solving a bilevel program that learns a discrete probability distribution on the edges of the graph. This allows one to apply GCNs not only in scenarios where the given graph is incomplete or corrupted but also in those where a graph is not available. We conduct a series of experiments that analyze the behavior of the proposed method and demonstrate that it outperforms related methods by a significant margin.

研究の動機と目的

• グラフが欠如、部分的、またはノイズがある場合に、GCNパラメータとともにグラフ構造の学習を動機づける。
• 外部問題がエッジ確率を学習し、内部問題がGCN重みを学習する二階層最適化フレームワークを構築する。
• 離散的グラフ変数を扱うための直通推定器を用いたハイパーグラデント降下法を導入する。
• 学習された疎なグラフが従来のグラフ構築法よりも優れていること、モデルが意味のあるエッジ分布を生み出すことを示す。

提案手法

• エッジをパラメータthetaを持つ独立したベルヌーイ確率変数としてモデル化し、グラフの分布を形成するためにA ~ Ber(theta)をサンプルする。
• 二階層目的関数を定式化する：外部目的は検証損失F(w_theta, A)を最小化することであり、w_theta = argmin_w E_A~Ber(theta)[L(w, A)]、内部目的はサンプルグラフ上の訓練損失を最小化する。
• 内側と外側の目的関数を、A_t ~ Ber(theta)を用いたwのSGDで近似し、長さを切り詰めたバックプロパゲーション・トゥ・タイムを用いてthetaのSTEベースのハイパーグラディエントを計算する。
• 離散エッジに対する勾配を近似する直通推定器を用い、偏りはあるが実務上有効なハイパーグラデントを得る。
• モデルの最終予測を、S個のサンプルグラフに対するモンテカルロ平均で推定する：f_w^{exp}(X) ≈ E_A[f_w(X, A)], 不偏推定量 hat{f}_w(X) = (1/S) sum_i f_w(X, A_i)。
• thetaをkNNグラフで初期化し（隣接行列を反映して0/1で初期化）、隣接行列の凸結合域内でthetaを最適化する。

実験結果

リサーチクエスチョン

• RQ1 グラフが欠落・破損している場合、GCNパラメータと共に学習可能な確率的グラフ生成器は半教師付きノード分類を改善できるか。
• RQ2 学習されたエッジ分布は、同じクラスのノード間のエッジ確率を高くする傾向があり、得られるグラフは疎でありながら有意情報を持つか。
• RQ3 STEハイパーグラデントを用いた二階層・勾配ベースの最適化は、実践で離散的グラフ構造に有効か。
• RQ4 LDSは、従来のGCNや他のベースラインと比べて、グラフの不完全さが異なる状況でどの程度性能を発揮するか。

主な発見

• LDSは、エッジが削除されるにつれて、元のGCNと比較して競争力のあるまたは優れた精度を達成し、設定によっては数パーセントポイントの精度向上を示す。
• 学習されたグラフは依然として疎で（しばしば全グラフよりはるかに少ない）一方でより有意情報を持ち、同じクラスのノード対のエッジ確率を高める。
• LDSはkNNベースのグラフ手法や密結合隣接学習を含むいくつかのデータセットで優れており、特に実際のグラフ構造が利用可能な場合に効果的。
• 交互のステップを越え、切り詰めたSTEハイパーグラデント（tau > 0）を用いると、単一ステップまたは純粋な交互最適化よりも性能が向上する。
• 学習されたエッジ確率は意味のある構造を示し、同じクラスのノードを結ぶエッジの確率が高く、真の隣接リンクの部分的回復が見られる。