[논문 리뷰] Fishnets: Information-Optimal, Scalable Aggregation for Sets and Graphs

T. Lucas Makinen, Justin Alsing외 1명|arXiv (Cornell University)|2023. 10. 05.

Advanced Graph Neural Networks인용 수 4

한 줄 요약

Fishnets는 정보이론적 집약 방법을 통해 집합과 그래프에 대해 최적의 스케일러블 요약을 학습하는 신경망을 사용해 점수와 역피셔 정보를 매개변수화하는 방법을 제안한다. 불확실성과 정보량을 명시적으로 모델링함으로써, 표준 GNN과 deepsets보다 더 뛰어난 내성적 안정성과 정보 포화도를 달성하며, 더 적은 파라미터와 더 빠른 학습으로 ogbn-protein에서 최고 성능을 기록한다.

ABSTRACT

Set-based learning is an essential component of modern deep learning and network science. Graph Neural Networks (GNNs) and their edge-free counterparts Deepsets have proven remarkably useful on ragged and topologically challenging datasets. The key to learning informative embeddings for set members is a specified aggregation function, usually a sum, max, or mean. We propose Fishnets, an aggregation strategy for learning information-optimal embeddings for sets of data for both Bayesian inference and graph aggregation. We demonstrate that i) Fishnets neural summaries can be scaled optimally to an arbitrary number of data objects, ii) Fishnets aggregations are robust to changes in data distribution, unlike standard deepsets, iii) Fishnets saturate Bayesian information content and extend to regimes where MCMC techniques fail and iv) Fishnets can be used as a drop-in aggregation scheme within GNNs. We show that by adopting a Fishnets aggregation scheme for message passing, GNNs can achieve state-of-the-art performance versus architecture size on ogbn-protein data over existing benchmarks with a fraction of learnable parameters and faster training time.

연구 동기 및 목표

• 정보이론에 기반한 집합과 그래프를 위한 최적의 확장 가능한 집약 방법을 개발하기 위해.
• 딥러닝과 베이지안 추론에서 고정된 집약기(예: 평균, 최대값, 합계)의 한계를 해결하기 위해.
• 분포 이탈과 노이즈가 있는 데이터 상황에서도 내성적 안정성과 정보 포화도를 갖춘 요약을 가능하게 하기 위해.
• GNN에 공식을 통합하여 성능과 효율성을 향상시키기 위해 표준 집약 레이어의 즉각적인 대체가 가능하도록 하기 위해.

제안 방법

• Fishnets는 로그우도에 대한 국소 기여를 모델링하기 위해 쌍둥이 신경망을 사용해 각 데이터 포인트의 점수와 피셔 정보를 매개변수화한다.
• 이 방법은 점수와 역피셔 가중치를 덧셈 방식으로 집약하여 피셔 스코링을 통해 의사최대우도 추정치를 형성한다.
• 데이터에 대한 함수로 역피셔 가중치를 명시적으로 학습함으로써 불확실성 인식 집약을 가능하게 한다.
• 이 공식은 베이지안 시뮬레이션 기반 추론(SBI)과 그래프 신경망(GNNs) 양쪽 모두에 적용된다.
• GNN에서는 Fishnets가 표준 집약 레이어를 대체하며, 엣지 불확실성(예: 동전 던지기 시뮬레이션에서의 N)을 입력으로 사용해 적응형 가중치를 부여한다.
• 이 방법은 PyTorch Geometric, JAX, TensorFlow 등 다양한 프레임워크에서 검증되어 교차 프레임워크 호환성을 입증했다.

Figure 1: Fishnets saturate information for datasets 20 times larger than the training set. Residual maximum likelihood estimates for slope ( left ) and intercept ( right ) scatter about the truth for linear regression test datasets of size $n_{\rm data}=10^{4}$ . The solid pink line is obtained fro

실험 결과

연구 질문

• RQ1 복잡하고 빈약한 데이터 세트에서 베이지안 정보량을 포화시키는 집약 체계를 설계할 수 있는가?
• RQ2 분포 이탈 상황에서 Fishnets는 표준 deepsets와 GNN보다 어떻게 성능을 내는가?
• RQ3 매우 적은 학습 가능한 파라미터로 Fishnets가 최고 성능의 GNN 성능을 달성할 수 있는가?
• RQ4 역피셔 가중치를 명시적으로 모델링하면 노이즈나 불확실성이 있는 데이터에 대해 더 뛰어난 내성적 안정성을 확보할 수 있는가?
• RQ5 구조적 변경 없이 Fishnets를 표준 GNN 집약 레이어의 즉각적인 대체로 사용할 수 있는가?

주요 결과

• Fishnets는 ogbn-protein에서 뿐만 아니라 뿐만 아니라 442,500개의 파라미터로도 테스트 ROC-AUC 0.8110 ± 0.0021을 기록하여 더 큰 GCN-28 모델을 능가했다.
• 단백질 데이터 세트의 노이즈가 있는 엣지 변형에서 Fishnets는 ROC-AUC 71.98%를 기록했으며, 이는 GCN-28의 64.71%보다 10.5% 향상된 성능이었다.
• Fishnets는 베이지안 정보량을 포화시키며, 표준 deepsets와 달리 분포 이탈에 대해 내성적 안정성을 보였다.
• 이 방법은 MCMC 기법이 실패할 수 있는 영역에서도 비트리비얼 추론 문제에서 정보 포화도를 달성했다.
• Fishnets는 높은 성능을 유지하거나 초월하면서도 주요 GNN보다 더 빠른 학습과 더 적은 파라미터 수를 확보했다.
• 이 방법은 명시적인 정보 수준의 인덕티브 바이어스를 보이며, 불확실성과 엣지 노이즈 하에서 일반화 능력을 향상시켰다.

Figure 2: Fishnets achieve the exact form of the score as a function of input data in the linear regression case, indicating information saturation. Slices of true (dark) and network predicted (pink) score vector components as a function of data inputs for the $n_{\rm data}=10^{4}$ test set.