[논문 리뷰] Distributionally Robust Semi-Supervised Learning Over Graphs

Alireza Sadeghi, Meng Ma외 2명|arXiv (Cornell University)|2021. 10. 20.

Domain Adaptation and Few-Shot Learning참고 문헌 19인용 수 5

한 줄 요약

이 논문은 그래프 구조 데이터에 대한 분포적으로 강건한 준지도 학습 프레임워크를 제안하며, 그래프 신경망(GNN)을 활용하고 워샤르슈타인 거리(Wasserstein distance)를 사용하여 분포 불확실성을 모델링한다. 강력한 이중성에 기반한 강건 최적화 문제를 정식화하고, 이를 최소-최대 학습 절차로 해결함으로써, 분포 이탈과 적대적 편향 상황에서도 뛰어난 일반화 성능을 달성하며, 실제 전력망 데이터에서 기준 모델들을 능가한다.

ABSTRACT

Semi-supervised learning (SSL) over graph-structured data emerges in many network science applications. To efficiently manage learning over graphs, variants of graph neural networks (GNNs) have been developed recently. By succinctly encoding local graph structures and features of nodes, state-of-the-art GNNs can scale linearly with the size of graph. Despite their success in practice, most of existing methods are unable to handle graphs with uncertain nodal attributes. Specifically whenever mismatches between training and testing data distribution exists, these models fail in practice. Challenges also arise due to distributional uncertainties associated with data acquired by noisy measurements. In this context, a distributionally robust learning framework is developed, where the objective is to train models that exhibit quantifiable robustness against perturbations. The data distribution is considered unknown, but lies within a Wasserstein ball centered around empirical data distribution. A robust model is obtained by minimizing the worst expected loss over this ball. However, solving the emerging functional optimization problem is challenging, if not impossible. Advocating a strong duality condition, we develop a principled method that renders the problem tractable and efficiently solvable. Experiments assess the performance of the proposed method.

연구 동기 및 목표

• 기존 GNN 모델이 준지도 그래프 학습에서 분포 이탈과 적대적 편향에 취약한 점을 해결하기 위해.
• 알 수 없는 그러나 유계된 분포 편차 상황에서도 모델 성능을 보장하는 원칙적인 강건 학습 프레임워크를 개발하기 위해.
• 노드 특성의 불확실성(예: 노이즈 있는 측정치 또는 훈련/테스트 데이터 분포 간 불일치)을 다루기 위해.
• 기존의 비가역 기능 최적화 문제를 다룰 수 있는 비제약 형태로 변환함으로써, 강건한 GNN의 스케일링 가능하고 효율적인 학습을 가능하게 하기 위해.
• 정상 및 손상된 입력 조건 하에서 실제 그래프 구조 데이터에 대해 제안된 방법의 효과성을 입증하기 위해.

제안 방법

• 실제 데이터 분포 중심의 워샤르슈타인 볼 내에서 최악의 예상 손실을 최소화하는 방식으로 분포적으로 강건한 최적화 문제를 정식화한다.
• 강력한 이중성을 적용하여 최소-최대 기능 최적화 문제를 등가의 비제약 문제로 변환함으로써 효율적인 최적화를 가능하게 한다.
• 매개변수화된 GNN 모델 $ f(\mathbf{X}; \bm{\theta}, \mathbf{W}) $ 를 사용하여 그래프 구조와 노드 특성을 인코딩하며, 명시적인 라플라시안 정규화를 대체한다.
• 워샤르슈타인 제약 조건과 관련된 이중 변수 $ \gamma $ 를 도입하며, $ \gamma \in \Gamma $ 를 통해 내부 최대화의 유일한 강凸성(strong concavity)을 보장한다.
• 두 단계 학습 절차를 사용한다: 첫째, $ \bm{\xi} $ 를 통해 보조 함수 $ \psi $ 를 최대화함으로써 입력 특성 $ \mathbf{X}_s $ 를 편향시키고, 둘째, 경사 하강법을 통해 GNN 가중치 $ \bm{\theta} $ 를 갱신한다.
• 내부 최대화가 엄격하게 강凸이 되고 해가 존재하도록 보장하기 위해, 강凸성 있는 운반 비용 $ c(\mathbf{X}, \bm{\xi}) = \|\mathbf{X} - \bm{\xi}\|_F^2 $ 를 사용한다.

실험 결과

연구 질문

• RQ1 준지도 학습에서 그래프 신경망을 어떻게 분포 이탈에 강건하게 만들 수 있는가?
• RQ2 적대적 편향이 GNN 성능에 미치는 영향은 무엇이며, 이를 공식적으로 정량화하고 보장할 수 있는가?
• RQ3 이중성 이론을 활용하여 분포적으로 강건한 최적화 프레임워크를 GNN에 대해 해석 가능한 학습 문제로 효과적으로 변환할 수 있는가?
• RQ4 제안된 방법은 표준 GNN 및 기준 모델 대비 노이즈가 있거나 손상된 입력 특성 조건에서 어떻게 성능을 발휘하는가?
• RQ5 워샤르슈타인 반경 $ \rho $ 는 강건성과 성능 간의 트레이드오프를 어떻게 조절하는가?

주요 결과

• 정상 데이터 조건 하에서 IEEE 118-bus 전력망에서 전압 진폭 추정에 대해, 제안된 강건한 GNN이 프록실라인어 네트워크, 기계적 피드포워드 네트워크(FNNs), 더 깊은 FNNs 를 모두 능가한다.
• 최악의 편향 조건을 만족하는 손상된 테스트 입력 $ P \in \mathcal{P} $ 에서도, 강건한 GNN은 모든 기준 모델보다 유의미하게 높은 추정 정확도를 유지한다.
• 실제 전력망 데이터에서의 회귀 과제에서 최신 기술 수준의 성능을 달성하며, 분포 이탈과 특성 편향에 대한 저항성을 입증한다.
• 강凸성 있는 운반 비용 사용으로 인해 내부 최대화에서 유일하고 미분 가능한 해를 확보할 수 있으며, 이는 안정적이고 수렴 가능한 학습을 가능하게 한다.
• 그리드 서치를 통한 하이퍼파ram터 튜닝 결과, $ \rho = 10 $ 이 정상 데이터에서 성능을 희생시키지 않으면서 강력한 강건성을 제공하는 것으로 나타났다.
• 실험 결과는 강건 모델이 분포 불확실성 하에서도 더 나은 일반화 성능를 보임을 확인하며, 정상 및 편향된 테스트 시나리오 모두에서 일관된 성능을 기록함을 입증한다.