[논문 리뷰] Self-supervised Graph Representation Learning via Bootstrapping

Feihu Che, Guohua Yang외 4명|arXiv (Cornell University)|2020. 11. 10.

Advanced Graph Neural Networks참고 문헌 38인용 수 5

한 줄 요약

이 논문은 온라인 및 타겟 신경망 간의 부트스트랩핑 메커니즘을 활용하여 음성 샘플이 필요 없도록 하는 자기지도 그래프 표현 학습 방법인 딥 그래프 부트스트랩핑(DGB)을 제안한다. 이 방법은 동일한 그래프의 두 개의 뷰에 대해 노드 특성 드롭아웃 및 그래프 확산과 같은 데이터 증강 기법을 적용하며, 온라인 네트워크가 타겟 네트워크의 출력을 예측하도록 학습한다. 타겟 네트워크는 느슨한 이동 평균을 통해 업데이트되며, 이는 안정성을 확보하고 상호 학습을 가능하게 한다. 레이블이나 음성 예제가 없는 벤치마크 데이터셋에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Graph neural networks~(GNNs) apply deep learning techniques to graph-structured data and have achieved promising performance in graph representation learning. However, existing GNNs rely heavily on enough labels or well-designed negative samples. To address these issues, we propose a new self-supervised graph representation method: deep graph bootstrapping~(DGB). DGB consists of two neural networks: online and target networks, and the input of them are different augmented views of the initial graph. The online network is trained to predict the target network while the target network is updated with a slow-moving average of the online network, which means the online and target networks can learn from each other. As a result, the proposed DGB can learn graph representation without negative examples in an unsupervised manner. In addition, we summarize three kinds of augmentation methods for graph-structured data and apply them to the DGB. Experiments on the benchmark datasets show the DGB performs better than the current state-of-the-art methods and how the augmentation methods affect the performances.

연구 동기 및 목표

• 기존 그래프 신경망이 레이블 데이터나 수작업으로 만든 음성 샘플에 크게 의존하는 한계를 해결하기 위해.
• 시각 분야에서 성공한 부트스트랩핑 메커니즘(BYOL)을 그래프 구조 데이터로 확장하여 비지도 표현 학습을 위한 응용을 확장하기 위해.
• 그래프 구조 데이터에 효과적인 데이터 증강 전략을 체계적으로 평가하고 분류하기 위해.
• DGB가 음성 예제나 감독 신호 없이도 벤치마크 그래프 데이터셋에서 뛰어난 성능을 달성할 수 있음을 입증하기 위해.

제안 방법

• DGB는 동일한 그래프의 서로 다른 증강된 뷰를 처리하는 두 개의 신경망(온라인 네트워크와 타겟 네트워크)을 사용한다.
• 온라인 네트워크는 타겟 네트워크의 출력을 예측하도록 최적화되며, 대조 손실 목적함수를 사용한다.
• 타겟 네트워크는 온라인 네트워크의 가중치에 대한 느슨한 이동 평균을 통해 업데이트되어 안정성을 확보하고 상호 학습을 가능하게 한다.
• 세 가지 유형의 데이터 증강 전략을 체계적으로 탐색한다: 노드 수준(노드 특성 드롭아웃, 노드 드롭아웃), 인접 행렬 수준(PPR, 열기법), 그리고 하이브리드 조합.
• 대조 손실을 계산하기 전에 표현을 투영하기 위해 다층퍼셉트론(MLP) 투영 헤드를 사용한다.
• 학습 과정은 온라인 네트워크의 경사하강법 업데이트와 천천히 업데이트되는 타겟 네트워크 간을 번갈아 수행하며, 시각 분야의 BYOL 프레임워크를 모방한다.

실험 결과

연구 질문

• RQ1 시각 분야의 자기지도 학습에서 성공한 부트스트랩핑 메커니즘이 그래프 구조 데이터에 성공적으로 적용될 수 있는가?
• RQ2 다양한 그래프 데이터 증강 전략이 자기지도 그래프 표현 학습의 성능에 어떤 영향을 미치는가?
• RQ3 음성 샘플이 필요 없도록 하는 것이 그래프 표현 학습의 강건성과 성능 향상에 기여하는가?
• RQ4 DGB 프레임워크에서 노드 수준 증강과 인접 행렬 수준 증강 간의 상대적 기여도는 어떠한가?
• RQ5 타겟 네트워크에서 느슨한 이동 평균 업데이트 전략이 모델의 안정성과 성능에 어떤 영향을 미치는가?

주요 결과

• DGB는 Cora, Citeseer, PubMed 데이터셋에서 최신 기술 수준의 성능을 달성했으며, Cora에서 83.4%의 정확도를 기록하여 기존의 지도 및 비지도 방법을 초월한다.
• 노드 특성 드롭아웃(NFD)과 인접 행렬 증강(예: PPR 또는 확산)의 조합이 가장 높은 성능을 보이며, 개별 증강 전략보다 뛰어난 성능을 발휘한다.
• 노드 수준 증강(특히 NFD)이 인접 행렬 수준 증강보다 더 크게 기여하며, 이는 학습 에포크 동안 더 높은 확률적 변동성 때문일 것이다.
• 제거 실험 결과, 투영 헤드를 제거하면 Cora에서 정확도가 83.4%에서 76.7%로 떨어지며, 이는 표현 학습에서 투영 헤드의 핵심적 역할을 확인한다.
• 타겟 네트워크 업데이트에 느슨한 이동 평균(p=0.01)을 사용할 경우, 즉각 복사(p=0)나 고정된 가중치(p=1)보다 더 좋은 성능을 기록하며, 안정적인 타겟 업데이트의 중요성을 확인한다.
• t-SNE 시각화 결과, 풀 컴포넌트를 갖춘 DGB가 투영 헤드나 적절한 부트스트랩핑 메커니즘이 없는 경우보다 더 구분력 있고 클래스 간 분리가 뚜렷한 표현을 학습하는 것으로 확인되었다.