[논문 리뷰] Residual2Vec: Debiasing graph embedding with random graphs

Sadamori Kojaku, Jisung Yoon외 2명|arXiv (Cornell University)|2021. 10. 14.

Advanced Graph Neural Networks참고 문헌 9인용 수 4

한 줄 요약

Residual2Vec는 구조적 편향(예: 차수 및 커뮤니티 구조)을 영구적인 무작위 그래프 모델을 사용하여 모델링함으로써 표현을 탈편향하는 그래프 임베딩 프레임워크이다. 스킵그램 음성 샘플링의 암묵적 탈편향 기능을 활용하여 링크 예측, 클러스터링, 노드 속성 예측 성능을 향상시키며, 저널 영향력 지수와 주제 카테고리와 같은 중요한 그래프 구조를 드러낸다.

ABSTRACT

Graph embedding maps a graph into a convenient vector-space representation for graph analysis and machine learning applications. Many graph embedding methods hinge on a sampling of context nodes based on random walks. However, random walks can be a biased sampler due to the structural properties of graphs. Most notably, random walks are biased by the degree of each node, where a node is sampled proportionally to its degree. The implication of such biases has not been clear, particularly in the context of graph representation learning. Here, we investigate the impact of the random walks' bias on graph embedding and propose residual2vec, a general graph embedding method that can debias various structural biases in graphs by using random graphs. We demonstrate that this debiasing not only improves link prediction and clustering performance but also allows us to explicitly model salient structural properties in graph embedding.

연구 동기 및 목표

• 무작위 보행 샘플링 편향(특히 차수 편향)이 그래프 표현 학습에 어떤 영향을 미치는지 조사하는 것.
• 기존 그래프 임베딩 방법에서의 구조적 편향에 대한 명시적 제어 부족 문제를 해결하는 것.
• 일반화 가능한 프레임워크를 개발하여 그래프 임베딩의 체계적 편향을 선택적으로 제거하는 것.
• 탈편향이 저널 영향력 및 주제 카테고리와 같은 의미 있는 구조적 특징을 더 잘 포착하는 데 기여함을 입증하는 것.
• 기존의 무작위 보행 기반 그래프 임베딩 방법이 특정 영구 모델을 갖는 특수한 경우로 통합해주는 통합 프레임워크를 제공하는 것.

제안 방법

• Residual2Vec는 주어진 편향(예: 차수 또는 커뮤니티 구조) 하에서 기대되는 구조적 분포를 캡처하는 영구 무작위 그래프 모델을 구축한다.
• 이 모델에서 합성된 무작위 보행 경로를 생성하여 해당 편향 하에서 기대되는 노드 공존도를 추정한다.
• 실제 그래프에서의 실제 공존도에서 기대 공존도를 빼서 잔차 임베딩을 계산함으로써 편향을 효과적으로 제거한다.
• 잔차 임베딩은 스킵그램 음성 샘플링(SGNS)을 사용하여 훈련되며, 이는 최적화 동역학상 차수 편향을 자연스럽게 억제한다.
• 이 프레임워크는 임의의 그래프 모델을 영구 모델로 지원하여 다양한 구조적 특성의 선택적 탈편향을 가능하게 한다.
• 기존 지식을 구조적 패턴의 명시적 모델링을 통해 통합함으로써 투명하고 해석 가능한 탈편향을 가능하게 한다.

실험 결과

연구 질문

• RQ1 무작위 보행의 편향(특히 차수 편향)이 그래프 임베딩의 품질에 어떤 영향을 미치는가?
• RQ2 SGNS에 내장된 탈편향 기능이 차수 외의 다른 구조적 편향을 일반화하여 제거할 수 있는가?
• RQ3 탈편향이 링크 예측 및 커뮤니티 탐지와 같은 후행 작업에서 얼마나 향상시키는가?
• RQ4 구조적 편향을 제거함으로써 저널 영향력 지수나 주제 카테고리와 같은 잠재적이고 의미 있는 그래프 특징을 드러낼 수 있는가?
• RQ5 Residual2Vec는 기존 그래프 임베딩 방법과 비교하여 의미 있는 구조적 특징을 얼마나 잘 포착하는가?

주요 결과

• Residual2Vec는 기준 그래프 임베딩 방법에 비해 링크 예측 및 클러스터링 성능을 크게 향상시켰다.
• 260,000개의 저널로 구성된 인용 그래프에서 Residual2Vec는 저널 영향력 지수와 주제 카테고리 예측에 가장 높은 R² 점수를 기록했다.
• r2v-dcSBM 버전은 r2v-config보다 저널 주제 카테고리 예측에서 뛰어난 성능을 보였으며, 시간적 편향의 효과적인 제거를 확인했다.
• r2v-dcSBM는 차수 및 년도 속성에 대해 가장 낮은 R² 점수를 기록하여 구조적 및 시간적 특성의 성공적인 탈편향을 확인했다.
• Residual2Vec는 무작위 보행 편향이 표준 임베딩에서 저널 영향력 및 주제와 같은 의미 있는 구조 신호를 가리킬 수 있음을 드러냈다.
• 이 방법은 명시적 탈편향이 더 해석 가능하고 의미적으로 더 풍부한 그래프 표현을 이끌어낼 수 있음을 입증했다.