[論文レビュー] Fishnets: Information-Optimal, Scalable Aggregation for Sets and Graphs

T. Lucas Makinen, Justin Alsing+1 more|arXiv (Cornell University)|Oct 5, 2023

Advanced Graph Neural Networks被引用数 4

ひとこと要約

Fishnetsは、スコアおよび逆フィッシャー情報量をパラメータ化するニューラルネットワークを用いて最適でスケーラブルな要約を学習する情報理論的集約手法を提案する。集合およびグラフに対して、不確実性と情報含量を明示的にモデル化することで、標準的なGNNやdeepsetsよりもロバスト性と情報飽和度に優れ、ogbn-proteinで最先端の性能を達成し、パrameter数を減らし、学習を高速化する。

ABSTRACT

Set-based learning is an essential component of modern deep learning and network science. Graph Neural Networks (GNNs) and their edge-free counterparts Deepsets have proven remarkably useful on ragged and topologically challenging datasets. The key to learning informative embeddings for set members is a specified aggregation function, usually a sum, max, or mean. We propose Fishnets, an aggregation strategy for learning information-optimal embeddings for sets of data for both Bayesian inference and graph aggregation. We demonstrate that i) Fishnets neural summaries can be scaled optimally to an arbitrary number of data objects, ii) Fishnets aggregations are robust to changes in data distribution, unlike standard deepsets, iii) Fishnets saturate Bayesian information content and extend to regimes where MCMC techniques fail and iv) Fishnets can be used as a drop-in aggregation scheme within GNNs. We show that by adopting a Fishnets aggregation scheme for message passing, GNNs can achieve state-of-the-art performance versus architecture size on ogbn-protein data over existing benchmarks with a fraction of learnable parameters and faster training time.

研究の動機と目的

• 情報理論に基づいた最適でスケーラブルな集合およびグラフの集約手法の開発。
• 深層学習およびベイズ推論における固定集約器（例：平均、最大、和）の限界の解消。
• 分布シフトやノイズの多いデータ下でもロバストで情報飽和する要約の実現。
• GNNに統合し、アーキテクチャの変更なしに性能と効率を向上させるためのドロップイン代替としての統合。

提案手法

• Fishnetsは、各データポイントのスコアおよびフィッシャー情報量を、対となるニューラルネットワークを用いて、対数尤度への局所的寄与をモデル化する。
• スコアおよび逆フィッシャー重みを加法的に集約し、フィッシャー・スコアを用いた擬似最尤推定を形成する。
• データ関数としての逆フィッシャー重みを明示的に学習することで、不確実性を考慮した集約を可能にする。
• この形式的枠組みは、ベイズ推論ベースのシミュレーション（SBI）およびグラフニューラルネットワーク（GNN）の両方へ適用可能である。
• GNNでは、Fishnetsが標準的な集約層を置き換え、エッジの不確実性（例：コイン投げのN）を入力として用い、適応的重み付けを実現する。
• PyTorch Geometric、JAX、TensorFlowの各フレームワークで検証され、クロスフレームワーク互換性が示された。

Figure 1: Fishnets saturate information for datasets 20 times larger than the training set. Residual maximum likelihood estimates for slope ( left ) and intercept ( right ) scatter about the truth for linear regression test datasets of size $n_{\rm data}=10^{4}$ . The solid pink line is obtained fro

実験結果

リサーチクエスチョン

• RQ1 複雑で不規則なデータセットにおいて、ベイズ的情報含量を飽和させるような集約スキームを設計可能か？
• RQ2 分布シフト下でのFishnetsの性能は、標準的なdeepsetsやGNNと比べてどうか？
• RQ3 Fishnetsは顕著に少ない学習可能なパラメータ数で最先端のGNN性能を達成可能か？
• RQ4 逆フィッシャー重みの明示的モデリングは、ノイズや不確実性のあるデータに対するロバスト性を向上させるか？
• RQ5 アーキテクチャの変更なしに、Fishnetsを標準的なGNN集約層の即時交換可能代替として使用可能か？

主な発見

• ogbn-proteinにおいて、Fishnetsは442,500パラメータでテストのROC-AUCが0.8110 ± 0.0021を達成し、より大きなGCN-28モデルを上回った。
• タンパク質データセットのノイズありエッジバージョンでは、Fishnetsは71.98%のROC-AUCを達成し、GCN-28の64.71%から10.5%の改善を示した。
• Fishnetsはベイズ的情報含量を飽和させ、標準的なdeepsetsとは異なり、分布シフトに対してもロバストであった。
• MCMC手法が失敗するような非自明な推論問題でも、Fishnetsは情報飽和を達成した。
• ベンチマークで性能を維持または上回りながら、最先端のGNNよりも高速な学習と少ないパラメータ数を実現した。
• 明示的な情報レベルのインダクティブバイアスを示し、不確実性およびエッジノイズ下での一般化性能を向上させた。

Figure 2: Fishnets achieve the exact form of the score as a function of input data in the linear regression case, indicating information saturation. Slices of true (dark) and network predicted (pink) score vector components as a function of data inputs for the $n_{\rm data}=10^{4}$ test set.