[논문 리뷰] Beyond Smoothing: Unsupervised Graph Representation Learning with Edge Heterophily Discriminating

Yixin Liu, Yizhen Zheng외 3명|arXiv (Cornell University)|2022. 11. 25.

Advanced Graph Neural Networks인용 수 8

한 줄 요약

GREET는 학습 가능한 엣지 식별기로 동형성 엣지와 이형성 엣지를 구분함으로써 이중채널 표현 학습을 가능하게 하는 비지도 그래프 표현 학습 방법을 제안한다. 피벗 기반 순위 손실과 대비 학습을 활용하여 동형성 및 이형성 그래프에서 모두 최신 기술 수준의 성능을 달성하며, 구조적 공격에 대해 강건하고 일반화 능력이 뛰어나다.

ABSTRACT

Unsupervised graph representation learning (UGRL) has drawn increasing research attention and achieved promising results in several graph analytic tasks. Relying on the homophily assumption, existing UGRL methods tend to smooth the learned node representations along all edges, ignoring the existence of heterophilic edges that connect nodes with distinct attributes. As a result, current methods are hard to generalize to heterophilic graphs where dissimilar nodes are widely connected, and also vulnerable to adversarial attacks. To address this issue, we propose a novel unsupervised Graph Representation learning method with Edge hEterophily discriminaTing (GREET) which learns representations by discriminating and leveraging homophilic edges and heterophilic edges. To distinguish two types of edges, we build an edge discriminator that infers edge homophily/heterophily from feature and structure information. We train the edge discriminator in an unsupervised way through minimizing the crafted pivot-anchored ranking loss, with randomly sampled node pairs acting as pivots. Node representations are learned through contrasting the dual-channel encodings obtained from the discriminated homophilic and heterophilic edges. With an effective interplaying scheme, edge discriminating and representation learning can mutually boost each other during the training phase. We conducted extensive experiments on 14 benchmark datasets and multiple learning scenarios to demonstrate the superiority of GREET.

연구 동기 및 목표

• 기존 비지도 그래프 표현 학습(UGRL) 방법이 모든 엣지에서 동형성 가정과 부드러운 표현에 의존하는 데서 비롯되는 한계를 해결하기 위해.
• 노드 특징과 그래프 구조를 이용해 동형성(유사한 노드) 엣지와 이형성(비유사한 노드) 엣지를 식별할 수 있는 비지도 엣지 식별 메커니즘을 개발하기 위해.
• 엣지 식별과 이중채널 표현 학습을 종합적으로 통합한 엔드 투 엔드 프레임워크를 구축하여 두 구성 요소가 상호 보완적으로 향상되도록 하기 위해.
• 동형성 기반 방법이 실패하는 이형성 그래프에서의 구조적 공격에 대한 강건성과 일반화 능력을 향상시키기 위해.

제안 방법

• 노드 특징과 구조적 인코딩을 이용해 엣지의 동형성/이형성을 추론하는 학습 가능한 엣지 식별기를 제안한다.
• 임의로 샘플된 노드 쌍을 피벗으로 사용해 엣지 식별을 감독하는 피벗 기반 순위 손실을 도입하여 엣지 유사성의 상대적 이격 정도를 최소화한다.
• 이중채널 그래프 인코더를 활용해 동형성 엣지와 이형성 엣지에서 각각 다른 표현을 생성함으로써 대비 학습을 가능하게 한다.
• 연결된 노드의 표현을 정렬하고 비유사 쌍의 표현을 분리하는 강건한 이중채널 대비 손실을 사용한다.
• 엣지 식별과 표현 학습이 번갈아가며 상호로 향상되도록 하는 교차 학습 전략을 적용한다.
• 구조적 인코딩(GNN 등에서 유도)을 엣지 식별기의 입력으로 통합하여 식별 정확도를 향상시킨다.

실험 결과

연구 질문

• RQ1 노드 특징과 그래프 구조만을 이용해 비지도 방식으로 동형성 엣지와 이형성 엣지를 효과적으로 구분할 수 있는가?
• RQ2 엣지 식별을 표현 학습과 어떻게 통합하여 모델 성능을 공동으로 향상시킬 수 있는가?
• RQ3 동형성 엣지 신호와 이형성 엣지 신호를 분리하면 기존의 스무딩 기반 방법에 비해 이형성 그래프에서 더 나은 일반화 성능을 달성할 수 있는가?
• RQ4 제안된 방법은 구조적 변형 또는 악성 공격 상황에서도 강건성을 유지할 수 있는가?

주요 결과

• GREET는 14개의 벤치마크 데이터셋에서 최신 기술 수준의 성능을 달성하여 기존 비지도 GNN보다 노드 분류, 클러스터링, 링크 예측에서 모두 뛰어난 성능을 보였다.
• 이형성 Texas 데이터셋에서 GREET는 노드 분류 정확도 83.62%를 기록하여 GRACE(72.58%) 및 기타 기준 모델들을 크게 앞섰다.
• 제거 실험 결과 엣지 식별기나 이중채널 인코딩을 제거할 경우 성능이 5% 이상 감소하여 이들의 핵심적 역할을 확인하였다.
• 피벗 기반 순위 손실은 엣지 식별의 강건성을 향상시키며, 피벗을 제거한 실험에서 Cora에서 정확도가 3.8% 감소함을 확인하였다.
• 시각화 결과 GREET가 표현 공간에서 동형성 엣지와 이형성 엣지를 성공적으로 분리하였으며, 이형성 엣지의 유사도가 거의 0에 수렴하는 것으로 확인되었다.
• Cora에서 50%의 무작위 구조적 공격에 대해 GREET는 다른 모델들이 심각하게 성능 저하를 보이는 상황에서도 높은 성능을 유지하는 것으로 나타났다.