[論文レビュー] Multi-Task Graph Autoencoders

Phi Vu Tran|arXiv (Cornell University)|Nov 7, 2018

Advanced Graph Neural Networks参考文献 4被引用数 21

ひとこと要約

本稿では、共有パラメータを用いて同時に非教師ありリンク予測と半教師ありノード分類を学習する対称的でエンド・ツー・エンドの深層オートエンコーダーであるマルチタスク・グラフオートエンコーダー（MTGAE）を提案する。このモデルは、5つのベンチマークデータセットにおいて最先端の性能を達成し、特にラベル率が低い設定下でも、リンク予測（AUC/AP）およびノード分類の正確性において強力なベースラインを上回っている。

ABSTRACT

We examine two fundamental tasks associated with graph representation learning: link prediction and node classification. We present a new autoencoder architecture capable of learning a joint representation of local graph structure and available node features for the simultaneous multi-task learning of unsupervised link prediction and semi-supervised node classification. Our simple, yet effective and versatile model is efficiently trained end-to-end in a single stage, whereas previous related deep graph embedding methods require multiple training steps that are difficult to optimize. We provide an empirical evaluation of our model on five benchmark relational, graph-structured datasets and demonstrate significant improvement over three strong baselines for graph representation learning. Reference code and data are available at https://github.com/vuptran/graph-representation-learning

研究の動機と目的

• ラベルがスパースで、i.i.d.仮定に反する依存関係を有する関係的でグラフ構造のデータにおいて、効果的なノード表現を学習する課題に対処すること。
• 複数のトレーニング段階を経ない、統合的でエンド・ツー・エンドの深層学習フレームワークを構築し、非教師ありリンク予測と半教師ありノード分類を同時に実行すること。
• グラフオートエンコーダーにおけるパラメータ共有と対称的エンコーダー・デコーダー構造を活用することで、モデルの汎化性能と表現能力を向上させること。
• 高エッジスパarsityと低ラベル可用性という現実的な条件下での、モデルのロバストネスと性能を評価すること。

提案手法

• MTGAEは、2層のエンコーダーと2層のデコーダーを備えた4層のオートエンコーダーであり、ReLU活性化関数を適用し、エンコーダーとデコーダー部の間でパラメータを共有することで、パラメータ数を削減し、汎化性能を向上させる。
• ノード埋め込みは非線形変換により学習される：$\mathbf{z}_i = \text{ReLU}(\mathbf{W} \cdot \text{ReLU}(\mathbf{V} \mathbf{a}_i + \mathbf{b}^{(1)}) + \mathbf{b}^{(2)})$ に続く再構成 $\hat{\mathbf{a}}_i = \mathbf{V}^T \cdot \text{ReLU}(\mathbf{W}^T \mathbf{z}_i + \mathbf{b}^{(3)}) + \mathbf{b}^{(4)}$。
• Adam最適化を用いてエンド・ツー・エンドでトレーニングされ、固定学習率0.001、ミニバッチサイズ64、100エポックで実行され、早期停止とドロップアウトによる正則化が施されている。
• ノード特徴量 $\mathbf{X}$ は隣接ベクトル $\mathbf{a}_i$ と連結され、$\mathbf{\bar{a}}_i$ を形成することで、構造的および特徴情報の両方を統合的に利用可能になる。
• 各ReLU層の後に、平均・分散正規化を適用することで、トレーニングの安定化とスパースグラフにおける性能向上を図っている。
• リンク予測のためには、正のエッジの10％と同数の負のエッジをマスクし、ノード分類のためにはクラスあたり20例のラベル付き例を用いる。

実験結果

リサーチクエスチョン

• RQ1 単一の対称的オートエンコーダー構造が、マルチタスク学習設定において、リンク予測とノード分類の両方を同時に効果的に実行できるか？
• RQ2 対称的オートエンコーダー構造におけるパラメータ共有が、グラフ構造データにおける表現学習と汎化性能をどのように向上させるか？
• RQ3 MTGAEモデルは、特にラベル率が低く、エッジがスパースな状況下でも、タスク特化型のベースラインを上回る性能を示すか？
• RQ4 エッジがランダムに削除された場合、MTGAEの再構成性能は、SDNEなどの既存のオートエンコーダーに基づく手法と比べてどうなるか？

主な発見

• CoraおよびCiteseerデータセットでは、MTGAEはそれぞれAUC/APスコア0.946および0.949を達成し、最良のVGAEベースラインを上回った。
• ノード分類においては、Coraで79.0％、Citeseerで71.8％、Pubmedで80.4％の正確性を達成し、ラベル率が低いデータセットにおいてGCNおよびPlanetoidベースラインを上回った。
• ネットワーク再構成タスクにおいて、MTGAEはArxiv-GRQCおよびBlogCatalogの両方でSDNEよりも高いprecision@kを達成した。特にエッジの80％が欠落している状況でも顕著だった。
• Arxiv-GRQCではk=10,000までMTGAEがSDNEを上回った。BlogCatalogではk=100,000まで優れた性能を維持し、80％のエッジ削除状況下でも同様の優位性を示した。
• ReLU層の後に平均・分散正規化を適用することで、活性化の安定化とトレーニング／テスト間の分布シフト補償が可能となり、リンク予測性能が向上した。
• エッジスパarsityに対して強いロバストネスを示し、80％のエッジがランダムにマスクされても高い性能を維持しており、強力な汎化性能と表現能力を示している。