[논문 리뷰] RoSA: A Robust Self-Aligned Framework for Node-Node Graph Contrastive Learning

Yun Zhu, Jianhao Guo외 2명|ArXiv.org|2022. 04. 29.

Advanced Graph Neural Networks인용 수 7

한 줄 요약

RoSA는 그래프 기반 지구이동거리(g-EMD)와 비지도 적대적 훈련을 활용하여 노드-노드 그래프 대비 학습에서 정렬되지 않은 시각 간 효과적인 표현 학습을 가능하게 하는 새로운 자기정렬 프레임워크를 제안한다. 이는 정렬되지 않은 시각을 사용함에도 불구하고 동형성, 비동형성, 동적 그래프에서 최신 기술(SOTA) 성능을 달성하며, 시각 간 노드 대응이 필요하지 않아도 강건성과 일반화 능력을 확보한다.

ABSTRACT

Graph contrastive learning has gained significant progress recently. However, existing works have rarely explored non-aligned node-node contrasting. In this paper, we propose a novel graph contrastive learning method named RoSA that focuses on utilizing non-aligned augmented views for node-level representation learning. First, we leverage the earth mover's distance to model the minimum effort to transform the distribution of one view to the other as our contrastive objective, which does not require alignment between views. Then we introduce adversarial training as an auxiliary method to increase sampling diversity and enhance the robustness of our model. Experimental results show that RoSA outperforms a series of graph contrastive learning frameworks on homophilous, non-homophilous and dynamic graphs, which validates the effectiveness of our work. To the best of our awareness, RoSA is the first work focuses on the non-aligned node-node graph contrastive learning problem. Our codes are available at: \href{https://github.com/ZhuYun97/RoSA}{ exttt{https://github.com/ZhuYun97/RoSA}}

연구 동기 및 목표

• 정렬되지 않은 시각 간에 노드 집합이 일관되지 않으며 명시적 대응이 없는 비정렬 노드-노드 그래프 대비 학습을 위한 효과적인 방법의 부족을 해결하기 위해.
• 시각 간 정렬이 필요하지 않은 대비 목표를 설계하여 더 넓은 샘플링 유연성과 강건성을 확보하기 위해.
• 노드 특징에 대한 비지도 적대적 훈련을 통해 모델의 강건성과 표현 다양성을 향상시키기 위해.
• 정렬된 방법이 실패하거나 성능이 열등한 동적 및 비동형 그래프를 포함한 다양한 그래프 유형에서 프레임워크의 효과성을 검증하기 위해.

제안 방법

• 다른 노드를 중심으로 하여 리스타트를 포함한 무작위 보행 샘플링을 사용해 정렬되지 않은 부분그래프 시각을 생성하며, 동일한 중심 노드에서 유도된 시각을 양의 쌍으로 간주한다.
• 노드 대응이 필요 없이 정렬되지 않은 시각 간의 분포 유사도를 측정하기 위해 그래프 기반 지구이동거리(g-EMD)를 대비 손실로 도입한다.
• 그래프 구조 내의 위상적 및 특징 기반 관계를 더 잘 포착하기 위해 g-EMD에서 수정된 비용 행렬을 사용한다.
• 노드 특징에 대한 비지도 적대적 훈련을 통합하여 샘플링 다양성을 증가시키고 분포 이탈에 대한 강건성을 향상시킨다.
• 표준 GNN 인코더(GCN, GraphSAGE 등)를 사용해 특징을 추출하며, 대비 목표는 노드 수준에서 적용된다.
• g-EMD와 함께 InfoNCE 손실을 적응시켜 명시적 정렬 없이도 엔드 투 엔드 훈련이 가능하도록 한다.

실험 결과

연구 질문

• RQ1 복잡한 그래프 환경에서 정렬된 대비 방법에 비해 비정렬 노드-노드 대비 학습이 더 나은 표현 학습을 달성할 수 있는가?
• RQ2 시각 간 노드 대응이 필요 없이 효과적으로 작동하는 대비 목표는 어떻게 설계할 수 있는가?
• RQ3 적대적 훈련은 비지도 그래프 대비 학습에서 부분그래프 샘플링의 강건성과 다양성을 향상시킬 수 있는가?
• RQ4 제안된 프레임워크는 동형성, 비동형성, 동적 그래프에 모두 일반화되는가?
• RQ5 g-EMD는 정렬되지 않은 그래프 시각 간의 유사도를 효과적으로 측정하면서도 구조적 및 특징 정보를 유지할 수 있는가?

주요 결과

• RoSA는 인도티브 학습 조건에서 미세-F1 점수가 51.2±0.1을 기록하며 Flickr 데이터셋에서 최신 기술(SOTA) 성능을 달성한다.
• Reddit 데이터셋에서 RoSA는 미세-F1 점수 95.2±0.0을 기록하며, 이는 이전 최신 기술인 GRACE보다 1.0점 높은 성능이다.
• 동적 그래프 환경에서는 CIAW*에서 F1 점수 73.2±9.3를 기록하며, GraphSAGE와 GRACE를 모두 앞서며, GRACE는 정렬 의존성으로 인해 실패했다.
• 제거 실험 결과, g-EMD, 수정된 비용 행렬, 또는 적대적 훈련을 제거할 경우 성능 저하가 심각하게 발생하여 각 구성 요소의 기여도를 검증한다.
• 비정렬 설정에서도 정렬된 방법과 유사하거나 더 우수한 성능을 보이며, 이는 뷰 정렬 불일치를 효과적으로 처리할 수 있음을 입증한다.
• 비동형 그래프를 포함한 다양한 그래프 유형에 대해 잘 일반화되며, 이 경우 다른 모델보다 뚜렷이 뛰어난 성능을 보인다.