[논문 리뷰] Where Did the Gap Go? Reassessing the Long-Range Graph Benchmark

Jan Tönshoff, Martin Ritzert외 2명|arXiv (Cornell University)|2023. 01. 01.

Advanced Graph Neural Networks인용 수 1

한 줄 요약

이 논문은 장거리 그래프 벤치마크(LRGB)를 재평가하며, 기존에 보고된 그래프 트랜스포머와 메시지 전파 GNN(MPGNN) 간의 성능 격차가 주로 비최적의 초모수 설정에 기인해 있음을 입증한다. 철저한 초모수 튜닝을 거친 후, GCN와 게이트드GCN와 같은 MPGNN 모델들이 Peptides-Struct에서 최신 기술 수준의 성능을 기록하며 GPS를 초월하는 등 여러 데이터셋에서 뛰어난 성능을 보였다. 또한, 특성 정규화와 적절한 메트릭 필터링을 통해 시각 및 링크 예측 작업에서 성능 격차가 더욱 좁혀졌다.

ABSTRACT

The recent Long-Range Graph Benchmark (LRGB, Dwivedi et al. 2022) introduced a set of graph learning tasks strongly dependent on long-range interaction between vertices. Empirical evidence suggests that on these tasks Graph Transformers significantly outperform Message Passing GNNs (MPGNNs). In this paper, we carefully reevaluate multiple MPGNN baselines as well as the Graph Transformer GPS (Rampášek et al. 2022) on LRGB. Through a rigorous empirical analysis, we demonstrate that the reported performance gap is overestimated due to suboptimal hyperparameter choices. It is noteworthy that across multiple datasets the performance gap completely vanishes after basic hyperparameter optimization. In addition, we discuss the impact of lacking feature normalization for LRGB's vision datasets and highlight a spurious implementation of LRGB's link prediction metric. The principal aim of our paper is to establish a higher standard of empirical rigor within the graph machine learning community.

연구 동기 및 목표

• 엄격한 초모수 튜닝을 통해 장거리 그래프 벤치마크(LRGB)에서 그래프 트랜스포머와 MPGNN 간의 성능 격차를 재평가한다.
• 기존에 보고된 그래프 트랜스포머의 MPGNN에 대한 우월성이 아키텍처적 우월성 때문인지, 아니면 비최적의 베이스라인 설정 때문인지 조사한다.
• 입력 특성 정규화가 시각 기반 LRGB 데이터셋(PascalVOC-SP 및 COCO-SP)에서 MPGNN 성능에 미치는 영향을 평가한다.
• PCQM-Contact 링크 예측 작업에서 MRR 메트릭의 음성 샘플에 대한 필터링 전략에 대한 민감도를 분석한다.
• 재현 가능하고 잘 튜닝된 베이스라인 및 일관된 평가 프로토콜을 통해 그래프 기계학습 분야의 더 높은 경험적 기준을 제안한다.

제안 방법

• 500k 파라미터 제약 조건 내에서 GCN, GINE, GatedGCN, GPS에 대해 체계적인 초모수 스윕을 수행하였다.
• MPGNN의 원래 선형 예측 헤드를 비선형 목표 함수를 더 잘 모델링할 수 있도록 다층 신경망(MLP) 헤드로 교체하였다.
• 초상소 그래프 데이터셋에서 노드 및 엣지 특성에 대해 채널별 평균과 표준편차를 기반으로 특성 정규화를 적용하였다.
• PCQM-Contact 링크 예측 평가를 원래 방식 외에 여러 가지 필터링 전략(원본, 잘못된 음성 샘플 제거, 자기순환 제거 포함)을 사용해 재구현하였다.
• 모든 모델 간에 동일한 학습 및 평가 프로토콜을 사용하여 공정한 비교를 확보하였다.
• 정규화와 초모수 튜닝의 영향을 분리하여 성능 및 변동성에 미치는 영향을 분석하기 위해 아블레이션 스터디를 수행하였다.

실험 결과

연구 질문

• RQ1 초모수 튜닝을 통해 LRGB에서 그래프 트랜스포머와 MPGNN 간의 성능 격차는 어느 정도 줄어들 수 있는가?
• RQ2 입력 특성 정규화는 시각 기반 LRGB 데이터셋에서 MPGNN 성능에 어떤 영향을 미치는가?
• RQ3 음성 샘플에 대한 다양한 필터링 전략은 PCQM-Contact 링크 예측 작업의 MRR 점수에 어떤 영향을 미치는가?
• RQ4 MPGNN 모델이 최적 설정으로 튜닝되었을 때, LRGB에서 그래프 트랜스포머의 성능 우위가 유지되는가?
• RQ5 예측 헤드 아키텍처의 선택은 그래프 학습 과제에서 장거리 의존성을 모델링하는 데 어떤 역할을 하는가?

주요 결과

• 초모수 튜닝 후, GCN와 게이트드GCN는 Peptides-Struct에서 GPS를 초월하여 각각 최신 기술 수준의 MAE 0.2460과 0.2477을 기록하였다.
• 튜닝 후, Peptides-Struct와 Peptides-Func에서 그래프 트랜스포머와 MPGNN 간의 성능 격차는 사라졌으며, MPGNN이 유사하거나 더 좋은 성능을 기록하였다.
• 특성 정규화 덕분에 PascalVOC-SP와 COCO-SP에서 F1 점수가 각각 최대 10%포인트 향상되었으며, GPS는 각각 44.40%와 38.84%의 F1 점수를 기록하였다.
• 초모수 튜닝 시 PCQM-Contact의 MRR 점수가 약 3% 향상되었으며, 자기순환을 제거한 경우 최대 10%포인트 향상되었다.
• 적절한 필터링과 튜닝 조건 하에서는 원래의 GPS 우위가 재현되지 않았으며, 확장된 필터링 설정에서는 GPS가 MPGNN을 약간 뛰어나는 성능을 보였다.
• 특히 자기순환 제거 여부와 같은 필터링 전략의 선택이 MRR에 큰 영향을 미치며, 이는 메트릭의 구현 세부 사항이 모델 비교에 상당한 영향을 미칠 수 있음을 시사한다.