[논문 리뷰] Power up! Robust Graph Convolutional Network via Graph Powering

Ming Jin, Heng Chang외 2명|arXiv (Cornell University)|2019. 05. 24.

Advanced Graph Neural Networks인용 수 7

한 줄 요약

이 논문은 표준 그래프 라플라시안을 강력한 라플라시안 연산자로 대체하여 스펙트럼 분리 능력을 향상시키고, 정점 연결 구조를 손상당하는 공격에 대한 강건성을 높이는 PowerGCN를 제안한다. 이 방법은 그래프 승수를 통해 수신 필드를 확장하고, 다양한 그래프 구조 간의 전이성과 일반화 능력을 향상시키기 위한 다중 척도 학습 프레임워크를 사용한다.

ABSTRACT

Graph convolutional networks (GCNs) are powerful tools for graph-structured data. However, they have been recently shown to be vulnerable to topological attacks. To enhance adversarial robustness, we go beyond spectral graph theory to robust graph theory. By challenging the classical graph Laplacian, we propose a new convolution operator that is provably robust in the spectral domain and is incorporated in the GCN architecture to improve expressivity and interpretability. By extending the original graph to a sequence of graphs, we also propose a robust training paradigm that encourages transferability across graphs that span a range of spatial and spectral characteristics. The proposed approaches are demonstrated in extensive experiments to simultaneously improve performance in both benign and adversarial situations.

연구 동기 및 목표

• 그래프 컨볼루션의 스펙트럼 기반 재고찰을 통해 기존 GCN의 정점 연결 공격에 대한 취약성을 해결한다.
• 고차수 노드에 의한 스펙트럼 오염으로 인해 밀도가 낮고 노이즈가 많은 그래프에서 두 번째 고유벡터가 커뮤니티 구조를 포착하지 못하는 고전적 그래프 라플라시안의 한계를 극복한다.
• 그래프 승수를 활용해 이웃 노드를 초월한 수신 필드를 확장함으로써 GCN의 공간적 및 스펙트럼 표현 능력을 향상시킨다.
• 다양한 공간적 및 스펙트럼 특성을 지닌 그래프 간의 전이성과 일반화 능력을 향상시키기 위한 강건한 학습 프레임워크를 개발한다.
• 청결한 환경과 공격 환경 모두에서 성능을 유지하는 증명 가능하게 강건한 스펙트럼 컨볼루션 연산자를 제공한다.

제안 방법

• 강력한 라플라시안 행렬을 기반으로 한 새로운 그래프 컨볼루션 연산자 $ \mathcal{L}^{(k)} = (D^{-1/2} A D^{-1/2})^k $ 를 제안하여 스펙트럼 분리 능력과 강건성을 향상시킨다.
• 원본 그래프로부터 순차적으로 차수 $ k $ 가 증가하는 강력한 그래프를 생성하는 다중 척도 그래프 구성 전략을 도입하여 수신 필드를 확장한다.
• 고차수 강력한 인접 행렬의 계산 비용을 제어하기 위해 스퍼스피케이션 전략을 적용하여, 조밀한 그래프에서도 효율성을 유지한다.
• 다양한 그래프 구조 간의 일반화 및 전이성 향상을 위해 다수의 강력한 그래프를 가중치 평균화 방식으로 융합하는 강건한 학습 프레임워크를 설계한다.
• 표준 GCN 아키텍처에 강력한 라플라시안을 통합하여, GCN 레이어 업데이트 규칙의 기존 라플라시안을 대체한다: $ \bm{H}^{(l+1)} = \psi(\mathcal{A} \bm{H}^{(l)} \bm{W}^{(l)}) $, 여기서 $ \mathcal{A} $ 는 이제 강력한 인접 행렬이 된다.
• 스펙트럼 성질의 안정성과 확장성을 확보하기 위해 승수 연산의 기초로 정규화된 인접 행렬 $ \tilde{A} = D^{-1/2} A D^{-1/2} $ 를 사용한다.

실험 결과

연구 질문

• RQ1 그래프 승수 기법이 고차수 노드에 의해 손상되는 스펙트럼 분리 능력을 지닌 희소 그래프에서 GCN의 스펙트럼 분리 능력을 향상시킬 수 있는가?
• RQ2 표준 그래프 라플라시안을 강력한 라플라시안으로 대체함으로써 정점 연결 공격에 대해 증명 가능하게 향상된 강건성을 확보할 수 있는가?
• RQ3 다중 척도 그래프 승수 기법이 다양한 그래프 구조 간의 GCN 일반화 및 전이성에 얼마나 기여하는가?
• RQ4 기존의 강건한 GCN 변종 대비 제안된 방법이 청결한 환경과 공격 환경 모두에서 어떻게 성능을 발휘하는가?
• RQ5 고차수 강력한 그래프의 계산 비용은 강건성이나 성능을 희생시키지 않고 어떻게 감소시킬 수 있는가?

주요 결과

• PowerGCN는 Cora, Citeseer, PubMed 데이터셋에서 청결한 환경과 공격 환경 모두에서 최신 기준 성능을 달성하였으며, 공격 테스트 세트에서 기존 GCN 대비 최대 2.5% 향상된 정확도를 기록했다.
• Citeseer 데이터셋에서 $ k=3 $ 인 PowerLap는 회피 공격 하에서 $ 78.5\pm 0.4 $ 의 테스트 정확도를 달성하여, 기존 GCN 및 SGC, MixHop 등의 베이스라인을 모두 능가했다.
• 다양한 공격 유형($ \mathcal{A}_{abr} $, DICE, Meta-Attack)에 걸쳐 일관된 강건성 향상 효과를 보였으며, 평가된 모든 데이터셋에서 양의 강건성 향상 점수를 기록했다.
• PowerGCN의 실행 시간은 베이스라인과 유사했으며(소셜 네트워크 Facebook 기준 6.36초), 고차수 행렬 연산에도 불구하고 스퍼스피케이션 전략이 계산 효율성을 유지함을 보였다.
• 강력한 라플라시안은 고차수 노드에 의한 영향을 억제하고, 특히 희소 그래프에서 두 번째 고유벡터의 신호 강도를 향상시켜 스펙트럼 성질을 개선했다.
• 다중 척도 학습 프레임워크는 일반화 능력을 크게 향상시켰으며, PubMed 데이터셋에서 청결한 환경 하에서 테스트 정확도가 $ 77.8\pm 0.9 $ 로, 공격 환경 하에서는 $ k=3 $ 일 때 $ 78.5\pm 0.4 $ 로 향상되었다.