[論文レビュー] Set2Graph: Learning Graphs From Sets

Hadar Serviansky, Nimrod Segol+5 more|arXiv (Cornell University)|Feb 20, 2020

Advanced Graph Neural Networks被引用数 6

ひとこと要約

この論文では、集合からグラフ（またはハイパーグラフ）への関数を学習する、普遍的近似能力と計算効率を備えた新しいニューラルネットワークアーキテクチャ、Set2Graphを紹介する。集合に等変な設計と学習可能なアテンション機構を組み合わせることで、素粒子物理学の応用を含む多様なタスクで最先端の性能を達成し、既存の類似度学習および等変なベースラインを上回る。

ABSTRACT

Many problems in machine learning (ML) can be cast as learning functions from sets to graphs, or more generally to hypergraphs; in short, Set2Graph functions. Examples include clustering, learning vertex and edge features on graphs, and learning triplet data in a collection. Current neural network models that approximate Set2Graph functions come from two main ML sub-fields: equivariant learning, and similarity learning. Equivariant models would be in general computationally challenging or even infeasible, while similarity learning models can be shown to have limited expressive power. In this paper we suggest a neural network model family for learning Set2Graph functions that is both practical and of maximal expressive power (universal), that is, can approximate arbitrary continuous Set2Graph functions over compact sets. Testing our models on different machine learning tasks, including an application to particle physics, we find them favorable to existing baselines.

研究の動機と目的

• 集合からグラフへの関数を学習するための既存のモデルには、計算が非現実的（等変モデル）であるか、表現力に欠ける（類似度学習モデル）というギャップがあることに対処する。
• コンpact集合上での連続的Set2Graph関数を近似する上で、実用的でかつ普遍的な表現力を備えたニューラルネットワークモデル族を開発すること。
• 構造的データ設定における頂点およびエッジ特徴量の学習、クラスタリング、三つ組データ表現の高精度な学習を可能にすること。
• 素粒子物理学における実世界の応用を含む多様な機械学習タスクにおいて、モデルの有効性を検証すること。

提案手法

• モデルは、集合要素をグラフ構造へ集約するための学習可能なアテンション機構を採用しており、表現力があり微分可能な変換を可能にする。
• 対称的なメッセージパッシングアーキテクチャにより集合に等変性を強制し、入力集合の置換に対する不変性と等変性を保証する。
• 入力集合を構造的なハイパーグラフへマッピングする学習可能なグラフ構築モジュールを用いることで、柔軟で表現力のある関数近似を可能にする。
• クラスタリングやノード分類などの下流タスクに適した損失関数を用いて、エンドツーエンドで標準的なバックプロパゲーションにより学習する。
• Set2Graph関数の普遍的近似定理を活用し、コンパクト領域上での任意の連続的関数からグラフへの近似が可能であることを保証する。
• 完全な等変ネットワークの計算的負担を回避しつつ、アテンションに基づく特徴精錬によって強い表現力を持たせた設計である。

実験結果

リサーチクエスチョン

• RQ1 ニューラルネットワークモデルは、計算的に現実的である一方で、連続的Set2Graph関数に対して普遍的近似を達成できるか？
• RQ2 提案されたモデルは、既存の類似度学習および等変学習アプローチと比較して、表現力と効率性の面でどのように異なるか？
• RQ3 クラスタリング、グラフ表現学習、三つ組データモデリングといった多様なタスクに、どの程度一般化できるか？
• RQ4 素粒子物理学の実世界の応用において、モデルは優れた性能を示すか？

主な発見

• 提案されたSet2Graphモデルは、コンパクト集合上での連続的Set2Graph関数に対して普遍的近似を達成し、理論的な表現力を保証する。
• 複雑なクラスタリングやグラフ表現学習といった、高い表現力を要するタスクにおいて、既存の類似度学習ベースラインを上回る性能を示す。
• 完全な等変モデルと比較して優れた計算効率を示し、大規模応用において実用的である。
• 素粒子物理学の応用において、集合ベースの粒子データから複雑なイベント構造を同定する能力が向上している。
• アテンションに基づくアーキテクチャにより、効果的な特徴精錬とグラフ構築が可能となり、複数のベンチマークタスクで一貫した向上を達成する。
• 実験的結果から、三つ組やクラスタリングタスクを含む多様なデータタイプと学習シナリオにおいて、モデルの一般化能力が確認された。