[논문 리뷰] Active Learning for Node Classification: The Additional Learning Ability from Unlabelled Nodes.

Juncheng Liu, Yiwei Wang외 3명|arXiv (Cornell University)|2020. 12. 13.

Advanced Graph Neural Networks참고 문헌 32인용 수 4

한 줄 요약

이 논문은 K-메디oids 클러스터링 프레임워크 내에서 비지도 학습 및 지도 학습 특징을 결합함으로써 비라벨링된 노드를 활용하는 새로운 활성 학습 방법인 LSCALE를 제안한다. 동적으로 두 가지 유형의 특징을 통합하고 레이어별로 반복 클러스터링을 통해 중복을 방지함으로써, LSCALE는 다섯 개인 기준 데이터셋에서 최신 기술(SOTA) 방법들을 크게 능가한다. 이는 비라벨링된 노드가 라벨 확보 외에도 잠재된 학습 잠재력을 지닌다는 것을 입증한다.

ABSTRACT

Node classification on graph data is an important task on many practical domains. However, it requires labels for training, which can be difficult or expensive to obtain in practice. Given a limited labelling budget, active learning aims to improve performance by carefully choosing which nodes to label. Our empirical study shows that existing active learning methods for node classification are considerably outperformed by a simple method which randomly selects nodes to label and trains a linear classifier with labelled nodes and unsupervised learning features. This indicates that existing methods do not fully utilize the information present in unlabelled nodes as they only use unlabelled nodes for label acquisition. In this paper, we utilize the information in unlabelled nodes by using unsupervised learning features. We propose a novel latent space clustering-based active learning method for node classification (LSCALE). Specifically, to select nodes for labelling, our method uses the K-Medoids clustering algorithm on a feature space based on the dynamic combination of both unsupervised features and supervised features. In addition, we design an incremental clustering module to avoid redundancy between nodes selected at different steps. We conduct extensive experiments on three public citation datasets and two co-authorship datasets, where our proposed method LSCALE consistently and significantly outperforms the state-of-the-art approaches by a large margin.

연구 동기 및 목표

• 기존의 활성 학습 방법이 노드 분류에서 라벨 확보 외에는 비라벨링된 노드의 정보를 충분히 활용하지 못하는 한계를 해결하기 위해.
• 비라벨링된 노드가 비지도 표현 학습과 결합될 경우 추가적인 학습 능력 기여 여부를 조사하기 위해.
• 지도 학습 및 비지도 임베딩의 하이브리드 특징 공간에서 클러스터링을 통해 정보가 풍부한 노드를 효과적으로 선택하는 활성 학습 전략을 설계하기 위해.
• 다중 활성 학습 라운드 동안 노드 선택의 중복을 방지하기 위해 반복 클러스터링 메커니즘을 사용하여 중복을 줄이기 위해.

제안 방법

• LSCALE는 이전에 학습된 모델의 지도 학습 임베딩과 함께 비지도 학습 기반의 노드 표현(예: node2vec 또는 DeepWalk)을 동적으로 조합하여 잠재 특징 공간을 구성한다.
• 이 방법은 하이브리드 특징 공간 내에서 대표적인 노드를 식별하기 위해 K-메디oids 클러스터링 알고리즘을 적용하며, 클러스터의 메디oids를 다음으로 라벨링할 노드로 선택한다.
• 선택된 노드 또는 이전에 선택된 노드와 유사한 노드를 다시 선택하는 것을 방지하기 위해, 활성 학습의 라운드 간에 클러스터링 구조를 업데이트하는 반복 클러스터링 모듈을 통합한다.
• 선택 과정은 반복적이다: 각 라벨링 라운드 이후 모델을 재학습하고, 새로운 지도 학습 신호를 반영하기 위해 특징 공간을 업데이트한다.
• 특징의 동적 조합은 비지도 학습에서 유도된 구조적 패턴과 지도 학습에서 유도된 예측 신호를 모두 활용하여 노드 선택을 안내한다.
• 불확실성 샘플링이나 다양성 기반 히우리스틱에 의존하지 않고, 지도 학습 및 비지도 학습 특징의 하이브리드 공간에서의 클러스터링을 통해 정보가 풍부하고 대표적인 노드를 식별한다.

실험 결과

연구 질문

• RQ1 비라벨링된 노드가 활성 학습에서 라벨 확보 외의 역할을 초과하여 추가적인 학습 능력을 기여할 수 있는가?
• RQ2 잠재 공간 내에서 비지도 및 지도 학습 특징을 조합할 경우, 단지 지도 신호만을 사용하는 방법보다 활성 학습 성능 향상이 이루어지는가?
• RQ3 하이브리드 특징 공간에서 K-메디oids 클러스터링이 불확실성 기반 또는 다양성 기반 선택 전략보다 효과적으로 정보가 풍부한 노드를 식별할 수 있는가?
• RQ4 반복 클러스터링 메커니즘이 다중 활성 학습 라운드 동안 노드 선택의 중복을 어떻게 방지하는가?
• RQ5 LSCALE는 인용 네트워크 및 공동저자 그래프와 같은 다양한 그래프 구조에 얼마나 일반화되는가?

주요 결과

• LSCALE는 PubMed, Cora, Citeseer 세 개인 인용 데이터셋과 DBLP, ACM 두 개인 공동저자 데이터셋에서 최신 기술(SOTA) 활성 학습 방법들을 일관되게 능가한다.
• LSCALE의 성능 향상은 유의미하고 대규모이며, 동일한 라벨링 예산 하에서 여러 데이터셋에서 정확도가 10% 이상 향상된다.
• 제거 실험 결과, 비지도 및 지도 학습 특징의 동적 조합이 LSCALE 성공의 핵심임을 입증하였으며, 둘 중 하나를 제거하면 성능 저하가 발생한다.
• 반복 클러스터링 모듈은 중복을 효과적으로 줄여주며, 활성 학습 반복 과정에서 선택된 노드들이 다양하고 대표적인 특성을 지닌다는 것을 보장한다.
• 실증 결과는 비라벨링된 노드가 적절한 특징 공학 및 클러스터링을 통해 잠재된 정보를 지닌다는 것을 확인하였으며, 이는 오직 라벨링된 노드만 학습에 기여한다는 가정을 도전한다.
• 비라벨링 데이터를 충분히 활용하지 못한 이전 연구의 문제를 반영하여, 단순한 랜덤 샘플링 기반 베이스라인(비지도 특징 사용)조차도 기존 활성 학습 방법을 능가함을 보여주며, 이는 비라벨링 데이터의 잠재력이 여전히 충분히 활용되지 않았음을 시사한다.