[논문 리뷰] TAM: Topology-Aware Margin Loss for Class-Imbalanced Node Classification

Jaeyun Song, Joonhyung Park외 1명|arXiv (Cornell University)|2022. 06. 26.

Advanced Graph Neural Networks인용 수 14

한 줄 요약

이 논문은 국소적 노드 구조를 기반으로 분류 마진을 적응적으로 조정함으로써 클래스 불균형에서의 오진 양성 결과를 줄이기 위한 새로운 손실 함수인 Topology-Aware Margin (TAM)을 제안한다. 이론적 분석을 통해 이웃 레이블 분포와 클래스 쌍 간 연결성을 고려함으로써, 주요 클래스에 높은 연결성을 가진 소수 클래스 노드가 과도하게 보정되는 것을 방지하며, GCN, GAT, GraphSAGE 아키텍처를 사용한 인용, WebKB, 위키백과 네트워크에서 일관되게 GNN 성능을 향상시킨다.

ABSTRACT

Learning unbiased node representations under class-imbalanced graph data is challenging due to interactions between adjacent nodes. Existing studies have in common that they compensate the minor class nodes `as a group' according to their overall quantity (ignoring node connections in graph), which inevitably increase the false positive cases for major nodes. We hypothesize that the increase in these false positive cases is highly affected by the label distribution around each node and confirm it experimentally. In addition, in order to handle this issue, we propose Topology-Aware Margin (TAM) to reflect local topology on the learning objective. Our method compares the connectivity pattern of each node with the class-averaged counter-part and adaptively adjusts the margin accordingly based on that. Our method consistently exhibits superiority over the baselines on various node classification benchmark datasets with representative GNN architectures.

연구 동기 및 목표

• 클래스 불균형 그래프 데이터에서 소수 클래스 노드를 보정할 때 주요 클래스에서 증가하는 오진 양성 결과의 문제를 해결한다.
• 특히 이웃 레이블 분포와 같은 국소적 노드 구조가 소수 클래스 보정 과정에서 주요 클래스 성능 저하에 미치는 영향을 조사한다.
• 전체 클래스 통계가 아닌 노드별 연결성 패턴에 기반해 마진 손실을 적응적으로 조정하는 방법을 개발한다.
• 기존의 불균형 처리 기법의 핵심 메커니즘을 수정하지 않고도 원활한 통합을 가능하게 한다.
• 손실 함수에 클래스 쌍 간 연결성과 국소적 구조를 고려함으로써 모델의 캘리브레이션과 공정성을 향상시킨다.

제안 방법

• 소수 노드가 특정 클래스로 향해 비정상적으로 높은 이웃 밀도를 보일 경우, 그 클래스의 마진을 감소시키는 Anomalous Connectivity-aware Margin (ACM)을 도입한다.
• 대상 클래스의 평균 이웃 통계를 사용해 혼동 가능성도를 계산하고, 이를 바탕으로 마진을 조정하는 Anomalous Distribution-aware Margin (ADM)을 제안한다.
• 기대되는 클래스 연결 패턴에서의 구조적 이탈에 기반해 노드 수준의 로짓 조정을 통해 분류 마진을 동적으로 수정한다.
• 각 노드 주변의 국소적 구조를 정량화하기 위해 이웃 레이블 분포 $\mathcal{D}$ 와 클래스별 연결 행렬 $\mathcal{C}$ 를 정의한다.
• 기존의 손실 수정 기법(예: 포칼 손실, 클래스 밸런스 손실)과 TAM을 결합하기 위해 학습 중에 노드 수준의 마진 조정을 적용한다.
• 전체 동질성 가정이 아닌 국소적 구조적 이탈에 초점을 맞춤으로써 동질성 및 이질성 그래프 모두에서 호환성을 확보한다.

실험 결과

연구 질문

• RQ1 소수 노드 주변의 국소적 이웃 레이블 분포가 학습 중 주요 클래스의 오진 양성률에 어떤 영향을 미치는가?
• RQ2 노드가 주요 클래스에 높은 연결성을 가지게 되면 불균형 그래프 학습에서 과적합 또는 오분류가 얼마나 악화되는가?
• RQ3 국소적 구조에 기반한 적응적 마진 조정이 기본 GNN 아키텍처를 변경하지 않고도 일반화 성능 향상과 오진 양성 감소에 기여할 수 있는가?
• RQ4 불균형 상황에서 TAM은 다양한 GNN 아키텍처(GCN, GAT, GraphSAGE)와 그래프 유형(동질성 대비 이질성)에서 어떻게 성능을 발휘하는가?
• RQ5 TAM은 기존의 손실 기반 또는 데이터 증강 전략과 효과적으로 융합될 수 있는가?

주요 결과

• 주요 클래스에 높은 연결성을 가진 소수 노드는 균일하게 보정될 경우 주요 노드의 오진 양성 예측을 크게 증가시킨다.
• 오진 양성률은 균일하게 분포되어 있지 않으며, 주요 클래스에 높은 연결성을 가진 소수 노드 주변에서 급격히 증가함을 확인하여 국소적 구조의 역할을 입증한다.
• 고연결성 소수 노드 영역에서 TAM은 평균적으로 오진 양성을 최대 30% 감소시키며, 캘리브레이션과 공정성 향상에 기여한다.
• 기본 손실 방법(예: 포칼 손실)과 결합했을 때 TAM은 인용, WebKB, 위키백과 네트워크 전반에서 일관되게 F1-macro 점수를 향상시킨다.
• 인용 네트워크(PubMed, Cora, Citeseer)에서 TAM은 클래스 밸런스 손실과 함께 사용했을 때 최신 기술 대비 F1-macro 점수를 2.1–4.3% 향상시킨다.
• 위키백과와 같은 이질성 그래프에서도 TAM은 동질성 가정을 초월해 강력한 성능을 유지함을 보여주며, 뛰어난 내재성과 탄력성을 입증한다.