[논문 리뷰] Robust Graph Neural Networks via Probabilistic Lipschitz Constraints

Raghu Arghal, Eric Lei외 1명|arXiv (Cornell University)|2021. 12. 14.

Advanced Graph Neural Networks인용 수 6

한 줄 요약

이 논문은 노드 속성과 그래프 구조 양쪽의 입력 변동에 대해 안정성을 확보하기 위해 주파수 응답 제어를 통한 확률적 리프시츠 제약을 사용하는 강건한 그래프 신경망(GNN) 프레임워크를 제안한다. 그래프 필터의 주파수 응답의 $∞ll^\infty$ 노름을 제약하고 시나리오 접근법을 적용하여 타당한 최적화를 가능하게 함으로써, 데이터 증강 및 전용 방어 기법보다 노이즈가 많은 입력과 악성 입력에서 뛰어난 성능을 보인다.

ABSTRACT

Graph neural networks (GNNs) have recently been demonstrated to perform well on a variety of network-based tasks such as decentralized control and resource allocation, and provide computationally efficient methods for these tasks which have traditionally been challenging in that regard. However, like many neural-network based systems, GNNs are susceptible to shifts and perturbations on their inputs, which can include both node attributes and graph structure. In order to make them more useful for real-world applications, it is important to ensure their robustness post-deployment. Motivated by controlling the Lipschitz constant of GNN filters with respect to the node attributes, we propose to constrain the frequency response of the GNN's filter banks. We extend this formulation to the dynamic graph setting using a continuous frequency response constraint, and solve a relaxed variant of the problem via the scenario approach. This allows for the use of the same computationally efficient algorithm on sampled constraints, which provides PAC-style guarantees on the stability of the GNN using results in scenario optimization. We also highlight an important connection between this setup and GNN stability to graph perturbations, and provide experimental results which demonstrate the efficacy and broadness of our approach.

연구 동기 및 목표

• 분산 제어와 같은 안전 중심 응용 분야에서 GNN의 노드 속성과 그래프 구조에 대한 입력 변동에 대한 취약성을 해결하기 위해.
• 데이터 이탈 모델에 대한 사전 지식이 필요 없이 무지식 강건 훈련을 가능하게 하는 강건성 프레임워크를 개발하기 위해.
• 신호 및 구조적 변동에 대한 강건성을 하나의 주파수 도메인 제약 프레임워크로 통합하기 위해.
• VC-이론 기반 샘플 복잡도 보장과 함께 계산적으로 효율적이고 확장 가능한 훈련을 가능하게 하는 시나리오 접근법을 사용해 이론적 안정성 보장을 제공하기 위해.

제안 방법

• 노드 속성에 대한 리프시츠 상수를 직접 제어하기 위해 그래프 필터의 주파수 응답의 $∞ll^\infty$ 노름에 대한 제약으로 GNN 강건성을 수식화한다.
• 일반적인 그래프 클래스 전반에서의 강건성을 확보하기 위해 이산 주파수 응답 제약을 그래프 이동 연산자의 스펙트럼 전역의 연속적·반무한 제약으로 확장한다.
• 시나리오 접근법을 사용해 반무한 문제를 확률적 제약 최적화 문제로 완화함으로써, VC-이론 기반 샘플 복잡도 보장과 함께 샘플 기반 해법을 가능하게 한다.
• 주어진 프레임워크를 구조적 강건성에 적용하기 위해 주파수 응답의 도함수를 제약함으로써 그래프 구조 변화에 대한 안정성과 연결한다.
• 효율적인 $∞ll^\infty$ 투영과 시나리오 최적화를 사용해 완화된 문제를 해결함으로써 계산 효율성을 유지한다.
• 주파수 응답 범위에 기반한 필터 계수 제약을 통해 GNN을 훈련함으로써, 악성 또는 노이즈 특화 데이터 증강에 의존하지 않고도 강건성을 확보한다.

실험 결과

연구 질문

• RQ1 GNN 필터의 주파수 응답 제약을 사용해 노드 속성 변동에 대한 리프시츠 연속성을 강제로 확보할 수 있는가?
• RQ2 주파수 응답 제약을 통해 그래프 클래스 전반에서 연속적이고 보편적인 신호 이동에 대한 강건성을 달성할 수 있는가?
• RQ3 시나리오 접근법이 알려지지 않은 데이터 이탈 모델 하에서 GNN에 대해 계산적으로 효율적이고 이론적으로 보장된 강건 훈련을 제공할 수 있는가?
• RQ4 제안된 프레임워크는 그래프 구조 변화와 같은 구조적 변동에 대해 효과적인가?
• RQ5 기본 데이터 증강 및 악성 훈련과 비교해, 이종 노이즈 유형에 대한 일반화 성능은 어떻게 되는가?

주요 결과

• AWGN와 $∞ll^\infty$ 악성 노이즈가 증가하는 상황에서도 리프시츠 GNN은 표준 GNN과 데이터 증강보다 높은 성능을 유지하며, 테스트 시 노이즈 수준이 훈련 수준을 초월하더라도 성능이 떨어지지 않는다.
• 적대자 공격 모델을 알지 못해도 $∞ll^\infty$-PGD 적대 훈련과 유사한 성능을 달성한다.
• 동적 떼어다니기 제어 작업에서, 제약이 가해진 GNN은 데이터 증강보다 더 나은 일반화 성능을 보이며, 악성 입력에 대해서도 $∞ll^\infty$-PGD 성능을 따라잡는다.
• 시나리오 접근법은 $[a,b]$ 영역에서 연속적인 주파수 응답 제약을 성공적으로 강제하며, 그림 2에서 보듯이 스펙트럼 전역에서 최대 절대 주파수 응답 $H^*(\lambda)$가 유한하게 유지된다.
• 주파수 응답의 도함수를 제약함으로써 프레임워크는 구조적 강건성으로 일반화되며, 그래프 변동에 대한 안정성과 연결된다.
• 청결한 데이터에서 성능 저하가 최소화되어 강건성과 정확도 사이의 우수한 트레이드오프를 보여준다.