[論文レビュー] Permutation Invariant Representations with Applications to Graph Deep Learning

Radu Bălan, Naveed Haghani+1 more|arXiv (Cornell University)|Mar 14, 2022

Computational Drug Discovery Methods被引用数 5

ひとこと要約

本稿では、グラフニューラルネットワーク向けの2種類の順序不変埋め込みを提案する：1つはノード特徴量のソートに基づくもので、もう1つは対称多項式を用いるものである。ソートに基づく手法は、低次元出力において双リプシッツ同等性を達成し、最小限の性能損失でほぼ任意の分類器を実装可能であり、QM9およびPROTEINS_FULLデータセットでノード順序の入れ替えに対して優れた一般化性能を示した。

ABSTRACT

This paper presents primarily two Euclidean embeddings of the quotient space generated by matrices that are identified modulo arbitrary row permutations. The original application is in deep learning on graphs where the learning task is invariant to node relabeling. Two embedding schemes are introduced, one based on sorting and the other based on algebras of multivariate polynomials. While both embeddings exhibit a computational complexity exponential in problem size, the sorting based embedding is globally bi-Lipschitz and admits a low dimensional target space. Additionally, an almost everywhere injective scheme can be implemented with minimal redundancy and low computational cost. In turn, this proves that almost any classifier can be implemented with an arbitrary small loss of performance. Numerical experiments are carried out on two data sets, a chemical compound data set (QM9) and a proteins data set (PROTEINS).

研究の動機と目的

• ノードの再ラベル化に対して出力が不変である必要があるグラフディープラーニングにおける順序不変性を扱う。
• 行の順序の入れ替えに関するn×d行列の商空間からユークリッド空間への双リプシッツ埋め込みを構築する。
• 順序変更下でも度合い構造を保つ忠実で低冗長性のグラフデータ表現を実現する。
• 提案された埋め込みを用いることで、ほぼ任意の分類器を任意に小さな性能損失で実装可能であることを示す。
• ノード順序の摂動を伴うグラフ分類および回帰タスクにおいて、手法を実証的に評価する。

提案手法

• 行をソートした後にR^mへの写像を行うソートベースの埋め込みを提案し、順序不変性と双リプシッツ連続性を保証する。
• ビエートの定理およびニュートン-ギラールの恒等式から導かれる初等対称多項式を用いた多項式ベースの埋め込みを導入する。
• 商空間上の距離を、すべての行の順序の入れ替えにおける最小フロベニウスノルムとして定義する：d(X,Y) = min_Π ||X - ΠY||。
• 写像α: R^{n×d} → R^mを構築し、X ∼ Y ならば α(X) = α(Y) であり、定数a0, b0に対して a0 d(X,Y) ≤ ||α(X) - α(Y)|| ≤ b0 d(X,Y) を満たすようにする。
• 比較のためのベースラインとして、無限次元の出力空間のため不十分であることが示されるウォッサーシュタイン-1距離を用いる。
• QM9およびPROTEINS_FULLデータセットで、マルチレイヤーパーセプトロンを用いたグラフ畳み込みネットワーク（GCN）をエンドツーエンドで訓練する。

実験結果

リサーチクエスチョン

• RQ1 商空間の距離に関して、双リプシッツである順序不変表現を構築可能か？
• RQ2 ソートベースの埋め込みは、低次元かつグローバルに双リプシッツである埋め込みを達成し、冗長性を最小限に抑えるか？
• RQ3 提案された埋め込みにより、ノード順序の変更下でもほぼ任意の分類器を無視できるほどの小さな損失で実装可能か？
• RQ4 ノード順序の変更下で、標準的手法（アイデンティティマッピングやデータオーグメンテーション）と比較して、埋め込みの性能はどの程度か？
• RQ5 実世界のデータセット（QM9およびPROTEINS_FULL）におけるグラフ分類および回帰タスクに、この埋め込みは良好に一般化するか？

主な発見

• ソートベースの埋め込みはグローバルに双リプシッツであり、低次元のターゲット空間を備えており、順序不変データの安定的かつ忠実な表現を可能にする。
• 最小限の冗長性と低コストで、ほぼ everywhere に一意性を達成し、任意の分類器を任意に小さな損失で近似可能であることを証明した。
• QM9データセットでは、d=100の条件下で訓練セットでMAEが0.155 eV、ホールドアウトセットで0.187 eVを達成し、順序変更下でもアイデンティティマッピングを上回った。
• PROTEINS_FULLデータセットでは、ソートベースの手法が、順序変更されたホールドアウトセットでAUC 0.821、0.820、0.818を達成し、アイデンティティマッピングおよびデータオーグメンテーション手法を上回った。
• カーネル法はd=1の条件下で適切に学習できず、アイデンティティマッピングは順序変更されたホールドアウトセットで顕著な性能低下を示し、一般化性能が低いことが示された。
• データオーグメンテーションは、複数の順序変更を明示的に学習したため、あらゆる設定で強い性能を維持した。これは、順序不変性における誘導的バイアスの重要性を強調している。