[논문 리뷰] Graph Convolution for Semi-Supervised Classification: Improved Linear Separability and Out-of-Distribution Generalization

Aseem Baranwal, Kimon Fountoulakis외 1명|arXiv (Cornell University)|2021. 02. 13.

Machine Learning and Data Classification참고 문헌 40인용 수 9

한 줄 요약

이 논문은 가우시안 혼합 특성을 가진 문맥적 확률적 블록 모델을 사용하여 준감독 노드 분류에서 그래프 컨볼루션을 연구한다. 그래프 컨볼루션은 예상 노드 차수 $D$에 비례하여 선형 분리 가능성에 약 $1/\sqrt{D}$의 요인으로 기여하며, 훈련 데이터와 다른 내부 및 외부 클래스 간 엣지 확률을 가진 분포 외 그래프로의 일반화를 가능하게 한다.

ABSTRACT

Recently there has been increased interest in semi-supervised classification in the presence of graphical information. A new class of learning models has emerged that relies, at its most basic level, on classifying the data after first applying a graph convolution. To understand the merits of this approach, we study the classification of a mixture of Gaussians, where the data corresponds to the node attributes of a stochastic block model. We show that graph convolution extends the regime in which the data is linearly separable by a factor of roughly $1/\sqrt{D}$, where $D$ is the expected degree of a node, as compared to the mixture model data on its own. Furthermore, we find that the linear classifier obtained by minimizing the cross-entropy loss after the graph convolution generalizes to out-of-distribution data where the unseen data can have different intra- and inter-class edge probabilities from the training data.

연구 동기 및 목표

• 경험적 실천을 넘어서 그래프 컨볼루션의 이론적 이점을 이해하기 위해.
• 가우시안 혼합 성분을 가진 확률적 블록 모델에서 그래프 컨볼루션이 노드 특성의 선형 분리 가능성에 미치는 영향을 분석하기 위해.
• 그래프 컨볼루션된 데이터로 훈련된 분류기가 엣지 확률이 변경된 분포 외 그래프로 일반화하는 성능을 평가하기 위해.
• 다양한 그래프 및 노이즈 파라미터 하에서 그래프 컨볼루션 이후 로지스틱 회귀의 일반화 오차에 대한 이론적 경계를 수립하기 위해.

제안 방법

• 연구는 노드 특성이 가우시안 혼합 모델에서 추출되고 엣지가 확률적 블록 구조를 따르는 문맥적 확률적 블록 모델(CSBM)을 사용한다.
• 그래프 컨볼루션은 이웃 노드에 대한 단순 평균화 연산으로 모델링되며, 정규화에 따라 $\tilde{X} = (I + A)^{-1}X$ 또는 유사한 형태로 특성 변환을 수행한다.
• 선형 분리 가능성은 컨볼루션된 특성에 대해 훈련된 로지스틱 분류기의 마진을 분석함으로써 분석되며, 농도 부등식을 사용하여 이론적 경계가 유도된다.
• 분포 외 데이터로의 일반화는 내부 및 외부 클래스 간 엣지 확률 $p'$ 및 $q'$가 다른 테스트 그래프에서 분류기 성능을 비교함으로써 연구된다.
• 이론적 분석은 가우시안 평균의 기하학적 성질과 그래프의 스펙트럼 성질, 특히 유효 저항과 엣지 확률 차이를 활용한다.
• 손실 경계는 지수 尾부 부등식을 사용하여 유도되며, 교차 엔트로피 손실이 마진 $R\gamma\Gamma(p',q')$ 에 따라 지수적으로 감소함을 보여준다.

실험 결과

연구 질문

• RQ1 준감독 설정에서 그래프 컨볼루션은 노드 특성의 선형 분리 가능성에 어느 정도 향상시키는가?
• RQ2 노드의 예상 차수 $D$는 그래프 컨볼루션에 의한 선형 분리 가능성 향상에 어떻게 영향을 미치는가?
• RQ3 내부 및 외부 클래스 엣지 확률이 다른 분포 외 그래프로, 그래프 컨볼루션된 데이터로 훈련된 분류기가 일반화 가능한가?
• RQ4 기본 로지스틱 회귀에 비해 그래프 컨볼루션은 선형 분류기의 이론적 마진 향상에 어떤 기여를 하는가?
• RQ5 내부 클래스($p$) 및 외부 클래스($q$) 엣지 확률의 차이는 그래프 컨볼루션 모델의 성능에 어떻게 영향을 미치는가?

주요 결과

• 그래프 컨볼루션은 예상 노드 차수 $D$에 비례하여 선형 분리 가능한 영역을 약 $1/\sqrt{D}$ 배로 확장한다.
• 그래프 컨볼루션 이후 최적의 선형 분류기의 마진은 $R\gamma\Gamma(p,q)$로 스케일링되며, $\Gamma(p,q)$는 내부 및 외부 클래스 간 엣지 확률의 상대적 차이를 반영한다.
• 분포 외 데이터에서 로지스틱 분류기의 일반화 오차는 $R\gamma\Gamma(p',q')$ 에 따라 지수적으로 감소하며, $p'$ 및 $q'$는 테스트 그래프의 엣지 확률이다.
• 실험적으로, 내부 클래스 엣지 확률이 외부 클래스 확률에 가까워질 경우 그래프 컨볼루션은 성능을 떨어뜨릴 수 있으며, 이는 그래프 구조에 대한 민감성을 보여준다.
• 이론적 경계는 분포 외 데이터에서의 교차 엔트로피 손실이 $C \exp(-R\gamma\Gamma(p',q')(1-o(1)))$ 이하로 상한이 있음을 보여주며, 유리한 그래프 조건 하에서는 강력한 일반화를 의미한다.
• 기하학적 제약 조건(예: 가우시안 성분 평균의 볼록 hull 조건) 하에서 결과는 $k$-클래스 케이스로 확장된다.