[논문 리뷰] Elastic Graph Neural Networks

Xiaorui Liu, Wei Jin외 6명|arXiv (Cornell University)|2021. 07. 05.

Advanced Graph Neural Networks인용 수 5

한 줄 요약

이 논문은 ℓ₁ 및 ℓ₂ 기반 그래프 스무딩을 통합하여 국소 스무딩 적응성을 향상시키는 새로운 GNN 가족인 엘라스틱 그래프 신경망(Elastic GNNs)을 제안한다. 새로운 메시지 전파 방식인 엘라스틱 메시지 전파(EMP)를 유도함으로써 이론적 수렴성과 적대적 공격에 대한 향상된 강건성을 확보하였으며, 벤치마크 반감독 학습 과제에서 표준 ℓ₂ 기반 GNN보다 뛰어난 성능을 보였다.

ABSTRACT

While many existing graph neural networks (GNNs) have been proven to perform $\ell_2$-based graph smoothing that enforces smoothness globally, in this work we aim to further enhance the local smoothness adaptivity of GNNs via $\ell_1$-based graph smoothing. As a result, we introduce a family of GNNs (Elastic GNNs) based on $\ell_1$ and $\ell_2$-based graph smoothing. In particular, we propose a novel and general message passing scheme into GNNs. This message passing algorithm is not only friendly to back-propagation training but also achieves the desired smoothing properties with a theoretical convergence guarantee. Experiments on semi-supervised learning tasks demonstrate that the proposed Elastic GNNs obtain better adaptivity on benchmark datasets and are significantly robust to graph adversarial attacks. The implementation of Elastic GNNs is available at \url{https://github.com/lxiaorui/ElasticGNN}.

연구 동기 및 목표

• 기존 GNN이 ℓ₂ 기반 그래프 스무딩을 통해 전역적이고 균일한 스무딩을 강제하는 한계를 해결하기 위해.
• ℓ₁ 기반 그래프 스무딩을 통합하여 국소 스무딩 적응성을 향상시키고, 불연속성을 더 잘 유지하며 조각별 다항식 신호 추정을 지원하기 위해.
• 백프로파게이션과 호환되며 깊은 GNN에 대해 확장 가능한 메시지 전파 방식을 설계하기 위해.
• 노드의 차수 변화에 대응하는 적절한 정규화를 확보하기 위해, 이는 이전의 그래프 총변동 및 추세 필터링 방법에서 자주 간과되는 과제이다.
• ℓ₁ 및 ℓ₂ 스무딩이 상호보완적임을 입증하여 더 다양한 활용과 강건한 GNN 아키텍처를 가능하게 하기 위해.

제안 방법

• ℓ₂ 및 ℓ₁ 노름을 조합한 새로운 그래프 신호 노이즈 제거 공식을 제안: min_F ||F - X_in||_F² + λ₁·||ΔF||₁ + λ₂·tr(FᵀLF), 여기서 ΔF는 노드 간 차이를 캡처한다.
• 비부드럽고 결합된 목표 함수를 위한 효율적 최적화 솔버를 통해 새로운 메시지 전파 방식인 엘라스틱 메시지 전파(EMP)를 유도한다.
• 최적화 문제를 해결하기 위해 전진-후진 분할 알고리즘을 사용하여 수렴성과 백프로파게이션 호환성을 보장한다.
• 노드의 차수 변화를 처리하기 위한 정규화 단계를 도입하여 안정성과 일반화 능력을 향상시킨다.
• EMP를 깊은 신경망에 통합하여 엘라스틱 GNNs를 구성하고, 엔드 투 엔드 학습을 가능하게 한다.
• 전역 스무딩과 국소 적응성을 동시에 촉진하기 위해 ℓ₂ 및 ℓ₁ 정규화를 조합한 하이브리드 손실을 사용한다.

실험 결과

연구 질문

• RQ1 표준 ℓ₂ 기반 스무딩과 비교해 볼 때, ℓ₁ 기반 그래프 스무딩이 GNN의 국소 스무딩 적응성에 기여하는가?
• RQ2 ℓ₁ 정규화 기반 그래프 스무딩에 기반한 메시지 전파 방식을 백프로파게이션과 깊은 학습에 호환되도록 설계할 수 있는가?
• RQ3 ℓ₁ 및 ℓ₂ 정규화의 통합은 그래프 적대적 공격에 대한 강건성에 어떤 영향을 미치는가?
• RQ4 전파 단계 수의 영향은 제안된 메시지 전파 방식의 성능 및 수렴성에 어떤가?
• RQ5 제안된 방법은 엣지의 노드 간 차이가 더 희박해지며, 의도한 조각별 상수 신호 행동을 나타내는가?

주요 결과

• 엘라스틱 GNNs는 Cora, CiteSeer, PubMed 등의 반감독 노드 분류 벤치마크에서 APPNP와 같은 ℓ₂ 기반 GNN보다 유의미하게 뛰어난 성능을 기록하였다.
• 노이즈가 가해진 상황에서도 높은 정확도를 유지하며 그래프 적대적 공격에 대해 뛰어난 강건성을 보였다.
• 엘라스틱 GNNs에서 노드 간 차이의 희박성 비율은 Cora에서 37%, CiteSeer에서 74%, PubMed에서 42%에 이를 정도로 높아, 강력한 조각별 상수 신호 행동을 나타냈다.
• Cora에서 잘못된 엣지 대비 올바른 엣지의 평균 노드 차이 비율이 APPNP의 1.57에서 엘라스틱 GNN의 2.03으로 증가하여 특징 분리 능력 향상을 보였다.
• EMP 최적화 과정에서 목적 함수 값이 전방 전파 중에 단조롭게 감소함으로써, 정리 1이 보장하는 수렴성이 확인되었다.
• 낮은 수의 전파 단계(K)만으로도 높은 성능을 달성할 수 있었으며, 이는 낮은 계산 비용과 효율적인 표현 학습을 의미한다.