[논문 리뷰] Active Learning for Graph Embedding

Hongyun Cai, Vincent W. Zheng외 1명|arXiv (Cornell University)|2017. 05. 15.

Advanced Graph Neural Networks참고 문헌 20인용 수 43

한 줄 요약

이 논문은 활성 학습과 그래프 임베딩을 동시에 최적화하는 새로운 프레임워크인 Active Graph Embedding(AGE)을 제안한다. AGE는 불확실성, 표현력(정보 밀도 및 PageRank 중심성에 의해 정의됨), 시간에 민감한 가중치를 기반으로 반복적으로 가장 정보적인 노드를 선택하여 레이블링한다. AGE는 기준 모델 대비 노드 분류 성능을 크게 향상시키며, 훈련 과정에서 그래프 구조 기반 기준에서 임베딩 기반 기준으로 초점을 동적으로 이동시킴으로써 Cora와 PubMed에서 최대 3.7% 높은 MicroF1를 달성한다.

ABSTRACT

Graph embedding provides an efficient solution for graph analysis by converting the graph into a low-dimensional space which preserves the structure information. In contrast to the graph structure data, the i.i.d. node embedding can be processed efficiently in terms of both time and space. Current semi-supervised graph embedding algorithms assume the labelled nodes are given, which may not be always true in the real world. While manually label all training data is inapplicable, how to select the subset of training data to label so as to maximize the graph analysis task performance is of great importance. This motivates our proposed active graph embedding (AGE) framework, in which we design a general active learning query strategy for any semi-supervised graph embedding algorithm. AGE selects the most informative nodes as the training labelled nodes based on the graphical information (i.e., node centrality) as well as the learnt node embedding (i.e., node classification uncertainty and node embedding representativeness). Different query criteria are combined with the time-sensitive parameters which shift the focus from graph based query criteria to embedding based criteria as the learning progresses. Experiments have been conducted on three public data sets and the results verified the effectiveness of each component of our query strategy and the power of combining them using time-sensitive parameters. Our code is available online at: https://github.com/vwz/AGE.

연구 동기 및 목표

• 수동 레이블링이 불가능한 상황에서 준지도 학습 그래프 임베딩을 위한 최적의 레이블링된 노드를 선택하는 문제를 해결하기 위해.
• 구조적 특성과 학습된 노드 임베딩을 모두 활용하는 그래프 구조 데이터에 특화된 활성 학습 전략을 설계하기 위해.
• 레이블 질의와 모델 훈련 에포크를 번갈아 수행함으로써 활성 학습과 그래프 임베딩 간의 상호 강화를 가능하게 하기 위해.
• 불확실성, 표현력, 그래프 중심성 등의 다수의 정보성 기준을 시간에 민감한 가중치를 사용해 조합함으로써 그 효과를 평가하기 위해.
• 활성 학습과 그래프 임베딩을 공동으로 최적화하는 것이 파ipeline 접근법과 표준 기준 모델보다 우수한 성능을 내는지 입증하기 위해.

제안 방법

• 정보 엔트로피(불확실성), 정보 밀도(표현력), PageRank 중심성(그래프 구조)을 기반으로 한 세 가지 정보성 점수를 사용하는 다기준 활성 학습 질의 전략을 도입한다.
• 이 점수들을 시간에 민감한 가중치를 사용해 선형 조합하며, 초기에는 그래프 중심성을 우선시하고, 임베딩 성능 향상에 따라 점차 불확실성과 밀도 기반 기준으로 초점을 이동시킨다.
• 각 훈련 에포크의 끝에서 레이블 질의를 수행함으로써, 그래프 임베딩 모델이 새로 레이블링된 노드 기반으로 표현을 개선할 수 있도록 한다.
• 기본 그래프 임베딩 모델로 GCN을 사용하지만, AGE 프레임워크는 준지도 학습 그래프 임베딩 알고리즘이라면 어떤 것이라도 일반화 가능하다.
• 시간에 따라 중심성, 불확실성, 표현력의 기여도를 조절하는 동적 가중치 체계를 사용하며, αt, βt, γt는 각각 중심성, 불확실성, 표현력의 기여도를 조절한다.
• 주로 노드 분류를 목적 태스크로 삼아, 인용 네트워크(Cora, Citeseer, PubMed)에서 프레임워크를 평가한다.

실험 결과

연구 질문

• RQ1 그래프 중심성 기반 기준(예: 중심성)과 임베딩 기반 기준(예: 불확실성 및 표현력)을 조합하면 그래프 임베딩에서 활성 학습 성능을 향상시킬 수 있는가?
• RQ2 시간에 따라 질의 기준 가중치를 동적으로 조정할 경우 활성 그래프 임베딩의 성능에 어떤 영향을 미치는가?
• RQ3 활성 학습을 그래프 임베딩 훈련과 번갈아 수행하는 방식(파이프라인 방식이 아님)이 더 높은 모델 성능을 낼 수 있는가?
• RQ4 질의 전략의 개별 구성 요소(예: 엔트로피, 밀도, 중심성)가 최종 성능에 기여하는 정도는 어떠한가?
• RQ5 AGE는 표준 활성 학습 기준 모델과 준지도 학습 GCN 기준 모델 대비 얼마나 뛰어난 성능을 보이는가?

주요 결과

• AGE는 Citeseer에서 무작위 기준 모델 대비 MacroF1 기준 7.6%, MicroF1 기준 3.2% 향상시켰으며, Cora와 PubMed에서도 유사한 성과를 기록했다.
• PageRank 중심성을 질의 전략에 통합함으로써, 엔트로피 + 밀도 조합 대비 평균적으로 MacroF1 기준 2.0%, MicroF1 기준 0.9% 향상되었다.
• 시간에 민감한 가중치를 사용함으로써 고정된 가중치 조합 대비 평균적으로 MacroF1 기준 0.9%, MicroF1 기준 1.3% 향상되었다.
• 파이프라인 기준 모델(모델 훈련 후에 노드를 레이블링)은 초기 임베딩 품질이 열악해 최적의 레이블 선택이 어려워 AGE에 비해 성능이 열등했다.
• Cora에서 AGE는 GCN 준지도 학습 기준 모델 대비 MicroF1 기준 3.7%, MacroF1 기준 3.5% 높은 성능을 기록하여 표준 접근 방식에 비해 뛰어난 성능을 입증했다.
• 정보 밀도만을 사용할 경우 안정성이 떨어지고, 일부 경우에서는 해로운 영향을 미칠 수 있어 중심성과 불확실성과 같은 보완 기준이 필요하다는 점을 시사한다.