[논문 리뷰] Structure-Preserving Graph Representation Learning

Ruiyi Fang, Liangjian Wen외 2명|arXiv (Cornell University)|2022. 09. 02.

Advanced Graph Neural Networks인용 수 4

한 줄 요약

이 논문은 구조 보존 그래프 표현 학습(SPGRL)을 제안하며, 원본 그래프 구조와 특징 임베딩 간 상호정보량(MI)을 최대화하여 그래프 표현 학습을 향상시키는 새로운 방법이다. 대조 학습을 위해 k-NN 기반의 특징 그래프를 구성하고, MI 최대화를 통한 자기 복원을 강제함으로써, SPGRL은 준지도 학습 노드 분류에서 최고 성능을 기록하며, 특징 및 구조적 노이즈 편향에 대해 뛰어난 강건성을 확보한다.

ABSTRACT

Though graph representation learning (GRL) has made significant progress, it is still a challenge to extract and embed the rich topological structure and feature information in an adequate way. Most existing methods focus on local structure and fail to fully incorporate the global topological structure. To this end, we propose a novel Structure-Preserving Graph Representation Learning (SPGRL) method, to fully capture the structure information of graphs. Specifically, to reduce the uncertainty and misinformation of the original graph, we construct a feature graph as a complementary view via k-Nearest Neighbor method. The feature graph can be used to contrast at node-level to capture the local relation. Besides, we retain the global topological structure information by maximizing the mutual information (MI) of the whole graph and feature embeddings, which is theoretically reduced to exchanging the feature embeddings of the feature and the original graphs to reconstruct themselves. Extensive experiments show that our method has quite superior performance on semi-supervised node classification task and excellent robustness under noise perturbation on graph structure or node features.

연구 동기 및 목표

• 국소적이고 전역적인 구조적 구조를 동시에 포착하는 데에 한계를 보이는 기존 그래프 표현 학습 방법의 문제를 해결한다.
• 다중층 설정에서 깊은 GCN에 의해 유도되는 과도한 스무딩 및 특징 구분력 저하 문제를 극복한다.
• 상호정보량 최대화를 활용하여 데이터 증강 및 도메인 전용 엔지니어링에 대한 의존도를 감소시킨다.
• 구조 보존 표현 학습을 통해 노드 특징 및 그래프 구조에 대한 노이즈에 강건성을 향상시킨다.
• 광범위한 초모수 튜닝이 필요 없이, 효과적으로 구조적 정보와 특징 정보를 융합하는 자기지도 학습 프레임워크를 개발한다.

제안 방법

• 특징 전파를 향상시키고 원본 그래프의 불확실성을 줄이기 위해 보완적인 시각으로 k-Nearest Neighbor(k-NN) 특징 그래프를 구성한다.
• 원본 그래프와 특징 그래프 간에 노드 수준의 대조 학습을 통해 국소적 구조적 및 특징적 관계를 포착한다.
• 전역 그래프 임베딩과 전역 특징 임베딩 간 상호정보량(MI)을 최대화하여 전역 구조적 구조를 유지한다.
• 이론적으로 MI 최대화를 자기 복원 작업으로 재구성하며, 원본 그래프 및 특징 그래프의 임베딩을 상호 교환하고 복원한다.
• 국소 및 전역 구조 보존을 공동으로 최적화하기 위해 대조 목적과 상호정보량 최대화 목적을 함께 사용하여 모델을 종단 간(end-to-end)으로 학습시킨다.
• 낮은 차원의 구분력 있는 노드 표현을 생성하기 위해 GCN 기반 인코더 프레임워크 내에 방법을 통합한다.

실험 결과

연구 질문

• RQ1 그래프 구조와 특징 임베딩 간 상호정보량을 최대화하는 것이 학습된 노드 임베딩의 품질을 향상시킬 수 있는가?
• RQ2 낮은 레이블 비율 조건에서 준지도 학습 노드 분류에서 SPGRL은 최신 기술(SOTA) 방법보다 어떻게 성능을 내는가?
• RQ3 노드 특징 또는 그래프 구조에 노이즈 편향이 가해졌을 때 SPGRL의 성능 유지 수준은 어느 정도인가?
• RQ4 k-NN 구성에서 k의 초모수 값에 대해 SPGRL은 얼마나 민감한가?
• RQ5 데이터 증강에 의존하지 않고도 자기 복원 기반의 MI 최대화 전략이 전역 구조적 정보를 효과적으로 유지할 수 있는가?

주요 결과

• SPGRL은 준지도 학습 노드 분류에서 최고 성능을 기록하며, 학술 논문 네트워크에서 AMGCN, SCRL, GCA를 각각 평균 5.87%, 1.91%, 4.40% 초월한다.
• Citeseer 데이터셋에서 0.5% 레이블 비율 조건에서도 SPGRL은 높은 정확도(클러스터당 60개 레이블 시 66.2%)를 유지하며, GCN, ChebNet, GAT와는 달리 낮은 지도 학습 조건에서 심각한 성능 저하를 보이지 않는다.
• 정규 분포 노이즈 편향(σ=1.0) 조건에서 클러스터당 20개 레이블 시 ACM에서 SPGRL은 73.2% 정확도를 기록하며, SCRL(62.8%)과 GFNN(52.6%)를 모두 앞서며 강건성을 입증한다.
• k 값의 범위가 넓은 범위에서 성능이 유의미하게 유지되며, 중간 수준의 k에서 성능이 최고에 이르고 매우 높은 k에서는 약간 감소함으로써, 초모수 선택에 대한 안정성과 민감도가 낮음을 시사한다.
• SPGRL은 다양한 데이터셋(ACM, BlogCatalog, UAI2010, Flickr, Citeseer)에서 일관된 슈퍼리어리티를 보이며, 청소된 환경과 노이즈가 가미된 환경 모두에서 경쟁력 있는 성능 유지를 한다.
• 제거 실험 결과, 구조적 임베딩과 특징 임베딩 간의 MI 최대화가 핵심 구성 요소임을 확인하였으며, 이는 모델이 전역 구조를 유지하고 일반화 능력을 향상시키는 데 기여한다.