[논문 리뷰] Edge Dithering for Robust Adaptive Graph Convolutional Networks

Vassilis N. Ioannidis, Georgios B. Giannakis|arXiv (Cornell University)|2019. 10. 21.

Advanced Graph Neural Networks참고 문헌 26인용 수 9

한 줄 요약

이 논문은 노이즈가 있거나 적대적으로 변형된 그래프 구조로 인한 성능 저하를 완화하기 위해 다수의 엣지 딜링(Edge Dithering)을 생성하는 적응형 그래프 컨volution 네트워크(ED-AGCN)를 제안한다. 적응형 그래프 조합 가중치를 학습하고 그래프 기반 정규화를 적용함으로써, ED-AGCN는 랜덤, 노이즈, 적대적 엣지 변형에 대해 표준 GCN보다 유의미하게 향상된 강건성을 확보한다. 이는 노드 특징이 없거나 신뢰할 수 없을 경우에도 성립한다.

ABSTRACT

Graph convolutional networks (GCNs) are vulnerable to perturbations of the graph structure that are either random, or, adversarially designed. The perturbed links modify the graph neighborhoods, which critically affects the performance of GCNs in semi-supervised learning (SSL) tasks. Aiming at robustifying GCNs conditioned on the perturbed graph, the present paper generates multiple auxiliary graphs, each having its binary 0-1 edge weights flip values with probabilities designed to enhance robustness. The resultant edge-dithered auxiliary graphs are leveraged by an adaptive (A)GCN that performs SSL. Robustness is enabled through learnable graph-combining weights along with suitable regularizers. Relative to GCN, the novel AGCN achieves markedly improved performance in tests with noisy inputs, graph perturbations, and state-of-the-art adversarial attacks. Further experiments with protein interaction networks showcase the competitive performance of AGCN for SSL over multiple graphs.

연구 동기 및 목표

• 그래프 컨volution 네트워크(GCNs)의 랜덤 노이즈 및 엣지에 대한 적대적 공격에 대한 취약성을 해결하기 위해.
• 노드 특징이 이용 불가능하거나 신뢰할 수 없을 경우에도 효과적으로 기능하는 강건한 반독립 학습 프레임워크를 개발하기 위해.
• 확률적 엣지 딜링을 통해 원래의 노드 이웃 구조를 복원함으로써, 그래프 손상에도 불구하고 정확한 국소 표현을 복구할 수 있도록 하기 위해.
• 다양한 딜링된 보조 그래프를 조합하기 위한 동적이고 레이어별 가중치를 학습시켜 일반화 및 강건성을 향상시키기 위해.
• 실제 데이터셋을 대상으로 랜덤 및 적대적 엣지 변형 상황에서의 성능을 검증하여 일관된 성능 향상을 입증하기 위해.

제안 방법

• 엣지 딜링은 학습 가능한 확률 $ q_1 $ (엣지 생성)과 $ q_2 $ (엣지 삭제)를 사용해 확률적으로 엣지를 추가하거나 제거함으로써 다수의 보조 그래프를 생성하며, 높은 확률로 원래의 이웃 구조를 복원하고자 한다.
• 이 방법은 $ I $개의 독립적인 엣지 딜링 그래프 $ \bar{\mathbf{A}}_i $를 구성하며, 각 그래프는 엣지 뒤집기의 베르누이 분포에서 샘플링되어 구조적 다양성을 유지한다.
• 적응형 GCN(AGCN) 레이어는 모든 딜링된 그래프에서의 특징을 학습 가능한 가중치 $ \alpha_i $를 사용해 조합하며, 이는 손상되지 않은 이웃 구조를 강조하도록 최적화된다.
• 특징 전파 및 레이어 간 기울기 흐름 향상을 위해 잔차 연결이 도입된다.
• 과적합을 방지하고 기저 토폴로지에 대해 부드러움을 강제하기 위해 그래프 기반 정규화가 통합된다.
• 모델은 교차 엔트로피 손실에 L2 정규화 및 그래프 정규화 항을 추가하여 엔드 투 엔드로 훈련되며, 이는 노드 특징이 없더라도 강건성을 확보할 수 있도록 한다.

실험 결과

연구 질문

• RQ1 적절하게 선택된 확률을 사용한 엣지 딜링이 그래프 변형 상황에서 원래의 노드 이웃 구조를 복원할 수 있는가?
• RQ2 다수의 딜링된 그래프를 적응형으로 융합함으로써 반독립적 노드 분류에서 적대적 공격에 대한 강건성이 어떻게 향상되는가?
• RQ3 노드 특징이 없거나 손상된 경우, 제안된 AGCN이 표준 GCN을 얼마나 뛰어나게 성능을 발휘할 수 있는가?
• RQ4 AGCN의 성능은 다수의 딜링된 그래프 수 $ I $ 및 엣지 생성/삭제 확률 $ q_1 $, $ q_2 $와 같은 하이퍼파rameter에 얼마나 민감한가?
• RQ5 실제 그래프에서 내재된 노이즈나 구조적 이상이 존재하는 경우에도 ED-AGCN 프레임워크는 강력한 성능을 유지하는가?

주요 결과

• Cora 데이터셋에서 40개 노드에 대해 적대적 공격을 가했을 때 AGCN은 84.00%의 정확도를 기록했고, GCN의 62.39%보다 유의미하게 높은 성능을 보였다. 이는 강건성 향상의 명확한 증거이다.
• Cora에서 30개 노드가 공격을 받은 상황에서도 AGCN은 82.00%의 정확도를 기록했고, GCN의 74.66%를 뛰어넘었다. 이는 원래 그래프가 손상된 상황에서도 성능이 유의미하게 유지됨을 시사한다.
• Citeseer에서 20개 노드가 공격을 받은 상황에서도 AGCN은 70.99%의 정확도를 기록했고, GCN의 60.49%보다 높았다. 이는 적대적 환경에서도 일관된 성능 향상을 보여준다.
• 엣지 변형이 없는 상황에서도 AGCN은 모든 데이터셋에서 GCN을 능가했다. 이는 실생활 그래프에 노이즈가 있거나 부적절한 엣지가 존재할 수 있음을 시사하며, AGCN이 이를 효과적으로 완화함을 의미한다.
• AGCN의 성능는 $ q_1 $, $ q_2 $, $ I $의 범위에서 상대적으로 안정적이며, $ I=5 $일 때도 뚜렷한 성능 향상이 나타나 하이퍼파rameter 선택에 대한 강건성을 보여준다.
• 베르누이 노이즈 실험에서, 엣지 변형 비율이 증가함에 따라 AGCN은 높은 정확도를 유지했고, GCN의 성능는 20% 이상의 엣지 변형에서 급격히 저하되었다.