[논문 리뷰] Topology-Imbalance Learning for Semi-Supervised Node Classification

Deli Chen, Yankai Lin외 5명|arXiv (Cornell University)|2021. 10. 08.

Advanced Graph Neural Networks참고 문헌 61인용 수 47

한 줄 요약

논문은 준지도 학습 노드 분류에서 그래프 특유의 토폴로지 불균형을 문제로 제시하고 Totoro 지표에 의해 안내되는 모델-무관한 재가중화 방법인 ReNode를 제안하여 토폴로지 불균형의 영향을 완화한다.

ABSTRACT

The class imbalance problem, as an important issue in learning node representations, has drawn increasing attention from the community. Although the imbalance considered by existing studies roots from the unequal quantity of labeled examples in different classes (quantity imbalance), we argue that graph data expose a unique source of imbalance from the asymmetric topological properties of the labeled nodes, i.e., labeled nodes are not equal in terms of their structural role in the graph (topology imbalance). In this work, we first probe the previously unknown topology-imbalance issue, including its characteristics, causes, and threats to semi-supervised node classification learning. We then provide a unified view to jointly analyzing the quantity- and topology- imbalance issues by considering the node influence shift phenomenon with the Label Propagation algorithm. In light of our analysis, we devise an influence conflict detection -- based metric Totoro to measure the degree of graph topology imbalance and propose a model-agnostic method ReNode to address the topology-imbalance issue by re-weighting the influence of labeled nodes adaptively based on their relative positions to class boundaries. Systematic experiments demonstrate the effectiveness and generalizability of our method in relieving topology-imbalance issue and promoting semi-supervised node classification. The further analysis unveils varied sensitivity of different graph neural networks (GNNs) to topology imbalance, which may serve as a new perspective in evaluating GNN architectures.

연구 동기 및 목표

• 그래프 특유의 편향 소스인 토폴로지 불균형을 양적 불균형을 넘어 식별하고 특성화한다.
• 레이블 전파 분석을 통해 토폴로지 불균형과 양적 불균형에 대한 통합적 관점을 제공한다.
• 노드 수준의 토폴로지 충돌을 탐지하는 Totoro를 제안하고, 학습 중에 레이블된 노드를 적응적으로 재가중하는 ReNode를 제시한다.
• 대규모 그래프를 포함한 다양한 GNN과 데이터셋에서 ReNode의 효과성과 일반화 가능성을 입증한다.

제안 방법

• 레이블링된 노드의 위상 위치를 클래스 중심과의 관계를 기준으로 학습 가중치를 조정하는 모델-무관한 재가중화 프레임워크(ReNode)
• 토폴로지 상대 위치 메트릭인 Totoro를 통해 레이블링된 노드 간의 영향력 충돌을 바탕으로 각 노드가 클래스 중심에 얼마나 근접한지를 정량화하는 방법(개별 노드의 근접성 측정)
• 클래스 중심에 근접한 노드를 강조하고 경계 근처의 노드를 하향가중화하기 위해 Totoro 랭크를 이용한 코사인 감쇠 가중치 스케줄
• 토폴로지 불균형과 양적 불균형을 함께 해결하기 위해 일반적인 클래스 빈도 재가중화와의 통합(L_T 및 L_Q 손실)
• PPRGo에서 영감을 받은 페이지랭크 행렬 추정 방식을 통한 대규모 그래프 적응으로 유도 학습 가능하게 함
• Equations: Y = α(I − (1−α)A′)⁻¹Y⁰ and T_v = E_{x∼P_{v,:}}[∑_{j≠y_v}(1/|C_j|)∑_{i∈C_j}P_{i,x}].

실험 결과

연구 질문

• RQ1 그래프의 토폴로지 불균형은 무엇으로 특징지어지며 이는 준지도 노드 분류에 어떤 영향을 미치는가?
• RQ2 인코더를 바꾸지 않고 토폴로지 인지적이고 모델-무관한 재가중화 체계가 토폴로지 불균형 하에서 학습을 개선할 수 있는가?
• RQ3 Totoro 지표가 노드 수준의 토폴로지 충돌을 어떤 방식으로 정량화하며 이를 효과적인 학습 가중치 조정에 어떻게 활용할 수 있는가?
• RQ4 토폴로지 인지 재가중화를 전통적인 양적 불균형 기법과 결합하면 데이터셋과 GNN 아키텍처 전반에서 강건한 이득을 제공하는가?
• RQ5 토폴로지 불균형이 서로 다른 GNN 아키텍처의 상대적 성능과 강건성에 어떤 영향을 미치는가?

주요 결과

• ReNode는 토폴로지 불균형을 해결하여 여섯 가지 GNN과 다섯 개의 트랜스덕티브 데이터셋에서 가중된 F1 및 매크로 F1을 일관되게 향상시킨다.
• Totoro는 영향력 충돌을 통해 클래스 경계 근처의 레이블된 노드를 효과적으로 위치시키며, 충돌이 클수록 모델 성능 저하와의 상관관계를 보인다.
• 토폴로지 불균형은 모델 성능에 영향을 미치며, 충돌 수준이 높을수록 ReNode을 사용할 때 성능 향상이 커지며 강한 토폴로지 불균형을 가진 데이터셋에서 특히 그렇다.
• 표준 양적 불균형 전략과 결합해도 ReNode의 효과가 유지되며, 일반적 및 그래프 특화 기준선 대비 다양한 불균형 수준에서 우수한 성능을 보인다.
• 대규모 실험에서 ReNode는 Reddit과 MAG-Scholar에서 레이블링 예산에 따라 유도 학습을 향상시키며, 매우 낮은 레이블 비율에서 콜드 스타트 문제가 나타날 수 있다.
• 다양한 GNN은 토폴로지 불균형에 대해 서로 다른 민감도를 보이며, 토폴로지 불균형을 GNN 아키텍처를 평가하는 새로운 축으로 제시한다.