[논문 리뷰] Learning by Sampling and Compressing: Efficient Graph Representation Learning with Extremely Limited Annotations

Xiaoming Liu, Qirui Li외 4명|arXiv (Cornell University)|2020. 03. 13.

Advanced Graph Neural Networks참고 문헌 30인용 수 4

한 줄 요약

이 논문은 극도로 제한된 레이블 데이터를 가진 상황에서 효율적인 그래프 표현 학습을 가능하게 하기 위해 다중 종속 랜덤 워크를 통한 적응형 샘플링과 텐서트레이스 기반 모델 압축을 결합한 새로운 학습 프레임워크를 제안한다. 최대 90%까지 학습 데이터를 감소시키고 모델 파라미터를 6배 이상 압축함으로써, 여섯 개의 기준 모델과 세 개인 실세계 데이터셋에서 GCN 기반 모델의 성능을 유지하거나 향상시킨다.

ABSTRACT

Graph convolution network (GCN) attracts intensive research interest with broad applications. While existing work mainly focused on designing novel GCN architectures for better performance, few of them studied a practical yet challenging problem: How to learn GCNs from data with extremely limited annotation? In this paper, we propose a new learning method by sampling strategy and model compression to overcome this challenge. Our approach has multifold advantages: 1) the adaptive sampling strategy largely suppresses the GCN training deviation over uniform sampling; 2) compressed GCN-based methods with a smaller scale of parameters need fewer labeled data to train; 3) the smaller scale of training data is beneficial to reduce the human resource cost to label them. We choose six popular GCN baselines and conduct extensive experiments on three real-world datasets. The results show that by applying our method, all GCN baselines cut down the annotation requirement by as much as 90$\%$ and compress the scale of parameters more than 6$ imes$ without sacrificing their strong performance. It verifies that the training method could extend the existing semi-supervised GCN-based methods to the scenarios with the extremely small scale of labeled data.

연구 동기 및 목표

• 레이블 데이터가 극도로 부족한 상황에서 그래프 컬러션 네트워크(GCNs)를 학습하는 데 도전하는 문제를 해결한다.
• 학습에 필요한 레이블된 노드 수를 최소화하여 인간 주석 비용을 절감한다.
• 열악한 샘플링 전략으로 인한 훈련의 편향을 줄이고 모델 일반화 능력을 향상시킨다.
• 아키텍처 변경 없이도 기존의 GCN 기반 모델이 저자원 환경에서도 효과적으로 작동하도록 한다.
• 샘플링과 압축을 통합한 일반화 가능한 프레임워크를 개발하여 확장성 있고 자원이 제한된 그래프 학습을 가능하게 한다.

제안 방법

• 균일 샘플링 대비 분포 커버리지가 향상된 대표적인 노드 서브셋을 확보하기 위해 다중 종속 랜덤 워크를 활용한다.
• 레이블 밀도 추정을 통해 랜덤 워크 샘플링이 균일 샘플링보다 더 대표적인 노드를 제공할 수 있음을 이론적으로 정당화한다.
• 텐서트레이스(TT) 분해를 적용하여 GCN 가중치 행렬을 압축함으로써, 파라미터 수를 $O(b \times c)$에서 $O(d \times r \times \max(b,c))$로 감소시키며, 여기서 $r \ll \min(b,c)$이다.
• 샘플링과 압축 단계를 통합된 훈련 파이프라인으로 통합한다: 먼저 노드를 샘플링한 후, 축소된 데이터셋에서 압축된 모델을 훈련시킨다.
• 체인 룰을 활용한 커널 행렬 $G_k$에 대한 백프로파게이션 동안 기울기를 효율적으로 계산하기 위해 동적 프로그래밍을 사용한다.
• 표본화된 노드만을 사용하여 표준 최적화 기법을 적용하고 조기 정지 기법을 사용해 압축된 모델을 훈련시킨다.

실험 결과

연구 질문

• RQ1 레이블 데이터가 극도로 제한된 상황에서 다중 종속 랜덤 워크 기반 샘플링 전략이 균일 샘플링 대비 성능 면에서 뛰어나다고 할 수 있는가?
• RQ2 텐서트레이스 분해를 통해 GCN 기반 모델의 학습 가능한 파라미터 수를 얼마나 줄일 수 있으며, 성능 손실 없이 가능한가?
• RQ3 적응형 샘플링과 모델 압축의 조합이 전체 데이터 학습과 동일한 성능을 내기 위해 레이블 데이터의 10–50%만으로도 가능할 수 있는가?
• RQ4 제안된 프레임워크는 다양한 GCN 아키텍처와 실세계 그래프 데이터셋에 대해 얼마나 일반화 가능한가?
• RQ5 모델 압축과 훈련 시간 사이의 상충 관계는 어떠한가? 추가적인 비용이 성능 향상과 데이터 효율성 향상으로 인해 정당화되는가?

주요 결과

• 모든 여섯 개의 GCN 기반 기준 모델이 제안된 프레임워크를 통해 원래 레이블 데이터의 10–50%만으로도 동등하거나 더 뛰어난 성능을 달성했다.
• 모든 평가된 데이터셋과 모델에서 약 90%까지 주석 예산을 절감하는 데 성공했다.
• 텐서트레이스 분해를 통해 모델 파라미터를 6배 이상 압축하여 모델 크기와 학습 데이터 의존도를 크게 감소시켰다.
• 훈련 시간은 16%만 증가하여 데이터 효율성과 모델의 경량화 측면에서의 성과를 고려할 때 합리적인 트레이드오프였다.
• 이론적 분석을 통해 랜덤 워크 샘플링이 균일 샘플링보다 더 나은 레이블 분포 커버리지를 제공함을 확인했으며, 이는 훈련 편향을 줄이는 데 기여한다.
• 다중 레이블 노드 분류 작업에 대한 실증 결과는 다양한 실세계 그래프에서 일관된 성능 향상과 높은 강인성을 입증했다.