[논문 리뷰] On Graph Classification Networks, Datasets and Baselines

Enxhell Luzhnica, Ben Day외 1명|arXiv (Cornell University)|2019. 05. 12.

Advanced Graph Neural Networks참고 문헌 11인용 수 11

한 줄 요약

이 논문은 단순한 모델—예를 들어 글로벌 풀링 MLP, 단일층 GCN, 또는 점프-지노우지( jumping-knowledge, JK) 연결을 갖춘 고정 가중치 GCN—이 그래프 분류 벤치마크에서 최신 기술 성능을 달성함을 보여준다. 일반적으로 더 깊고 복잡한 아키텍처를 능가한다. 저자들은 깊이 있는 모델에서의 열악한 학습 동역학을 표준 초기화 하에서의 기울기 소실 현상 때문이라고 설명하며, 향후 평가를 위한 필수 기준 모델로 이러한 단순한 모델을 제안한다.

ABSTRACT

Graph classification receives a great deal of attention from the non-Euclidean machine learning community. Recent advances in graph coarsening have enabled the training of deeper networks and produced new state-of-the-art results in many benchmark tasks. We examine how these architectures train and find that performance is highly-sensitive to initialisation and depends strongly on jumping-knowledge structures. We then show that, despite the great complexity of these models, competitive performance is achieved by the simplest of models -- structure-blind MLP, single-layer GCN and fixed-weight GCN -- and propose these be included as baselines in future.

연구 동기 및 목표

• 깊이 있는 그래프 신경망(GNN)이 상위-k 풀링과 점프-지노우지(JK) 연결을 갖추고 있음에도 불구하고 이론적 우월성에도 불구하고 일반화에 실패하는 이유를 조사하기 위해.
• 상위-k 풀링을 갖춘 깊이 있는 GNN에서 초기화가 기울기 흐름과 학습 안정성에 미치는 영향을 평가하기 위해.
• 단순한 모델—특히 구조 무관성 MLP와 단일층 GCN—이 표준 그래프 분류 벤치마크에서 경쟁력 있거나 우수한 성능을 내는 것을 입증하기 위해.
• 향후 GNN 연구에서 이러한 단순한 모델을 강력하고 최소한의 기준 모델로 포함하여 공정한 평가와 의미 있는 아블레이션 연구를 보장하기 위해.

제안 방법

• 개선된 정규화(자기 순환을 2로 가중)와 ReLU 활성화 함수를 적용한 표준 GCN를 사용한다.
• 학습 가능한 투영 벡터를 사용해 최고 점수를 받는 노드를 유지함으로써 그래프를 조밀화하는 상위-k 풀링을 적용한다.
• 모든 층의 표현을 연결, 합산, 또는 최대 풀링을 통해 집계하기 위해 점프-지노우지(JK) 연결을 사용한다.
• 모든 층에서 활성화 분산을 유지하기 위해 ReInit 초기화 기법을 제안하여 기울기 소실 문제를 완화한다.
• 가중치 감쇠 유무에 따라 학습하여 열악한 초기화에서 회복하는 동역학을 평가한다.
• 10겹 교차검증 분할을 사용해 Reddit, DD, Collab, Proteins 등 여러 데이터셋에서 성능을 비교한다.

실험 결과

연구 질문

• RQ1 상위-k 풀링과 JK 연결을 갖춘 깊이 있는 GNN가 아키텍처의 복잡성에도 불구하고 효과적으로 학습되지 않는 이유는 무엇인가?
• RQ2 표준 초기화가 깊이 있는 GNN에서 기울기 흐름과 활성화 전파에 어떤 영향을 미치는가?
• RQ3 MLP나 단일층 GCN와 같은 단순한 모델이 표준 그래프 분류 벤치마크에서 복잡한 아키텍처를 얼마나 능가하는가?
• RQ4 ReInit 전략은 깊이 있는 GNN에서 학습 동역학을 효과적으로 복구할 수 있으며 일반화 성능을 향상시킬 수 있는가?
• RQ5 복잡한 GNN 구성 요소는 필수적인가, 아니면 단순한 하위망인 GCN나 MLP의 성능 향상 효과를 높일 뿐인가?

주요 결과

• 표준 Glorot/He 초기화 하에서 상위-k 풀링을 갖춘 깊이 있는 GNN는 특히 후속 층에서 활성화와 기울기가 소실되어 성능이 떨어진다.
• 글로벌 풀링 MLP는 DD에서 80.22%의 정확도를 기록하여 GraphSAGE나 Set2Set와 같은 더 복잡한 모델보다 뛰어난 성능을 보였다. 이는 강력한 기준 성능을 의미한다.
• JK 연결이 있는 단일층 GCN(JK-Sum)은 Reddit에서 47.16%의 정확도를 기록했으며, DiffPool나 Graph U-Net과 같은 더 깊은 모델의 결과와 동등하거나 이를 초월했다.
• 고정 가중치 GCN(GCN-R-MLP)조차도 DD에서 78.61%의 정확도를 기록하여, GCN의 구조적 정보만으로도 학습 없이도 충분히 강력한 성능을 낼 수 있음을 보여주었다.
• ReInit 초기화 기법은 모든 층을 처음부터 학습 가능하게 만들었지만, 적절한 훈련이 이루어지는 표준 초기화와 비교해 성능 향상이 일관되게 이루어지지는 않았다.
• 가중치 감쇠가 있을 경우 깊이 있는 네트워크는 열악한 초기화에서 회복하지 못하며, 없을 경우 안정화되기까지 800 에포크 이상이 소요되어 깊이 있는 모델의 유도적 편향이 열악하다는 것을 시사한다.