[논문 리뷰] Leveraging Large Language Models for Node Generation in Few-Shot Learning on Text-Attributed Graphs

Jianxiang Yu, Yuxiang Ren외 4명|arXiv (Cornell University)|2023. 10. 15.

Topic ModelingComputer Science인용 수 3

한 줄 요약

이 논문은 소수의 샘플에서 텍스트 특징이 부여된 그래프에서 대규모 언어 모델(Large Language Models, LLMs)을 활용하여 합성 노드 특징과 간선을 생성하는 경량이며 즉시 사용 가능한 파라다임인 ENG를 제안한다. LLM에 클래스 레이블을 기반으로 프롬프팅하여 의미적으로 rich한, 레이블 인식형 예시를 생성하고, 간선 예측 모델을 사용해 이를 그래프에 통합함으로써, 1-shot ogbn-arxiv 설정에서 기준 모델 대비 76%의 정확도 향상을 달성한다.

ABSTRACT

Text-attributed graphs have recently garnered significant attention due to their wide range of applications in web domains. Existing methodologies employ word embedding models for acquiring text representations as node features, which are subsequently fed into Graph Neural Networks (GNNs) for training. Recently, the advent of Large Language Models (LLMs) has introduced their powerful capabilities in information retrieval and text generation, which can greatly enhance the text attributes of graph data. Furthermore, the acquisition and labeling of extensive datasets are both costly and time-consuming endeavors. Consequently, few-shot learning has emerged as a crucial problem in the context of graph learning tasks. In order to tackle this challenge, we propose a lightweight paradigm called LLM4NG, which adopts a plug-and-play approach to empower text-attributed graphs through node generation using LLMs. Specifically, we utilize LLMs to extract semantic information from the labels and generate samples that belong to these categories as exemplars. Subsequently, we employ an edge predictor to capture the structural information inherent in the raw dataset and integrate the newly generated samples into the original graph. This approach harnesses LLMs for enhancing class-level information and seamlessly introduces labeled nodes and edges without modifying the raw dataset, thereby facilitating the node classification task in few-shot scenarios. Extensive experiments demonstrate the outstanding performance of our proposed paradigm, particularly in low-shot scenarios. For instance, in the 1-shot setting of the ogbn-arxiv dataset, LLM4NG achieves a 76% improvement over the baseline model.

연구 동기 및 목표

• 텍스트 특징이 부여된 그래프에서 소수의 샘플로도 낮은 성능을 보이는 노드 분류 문제를 해결하기 위해.
• LLM을 사용해 고품질의 의미적으로 관련성이 높은 학습 샘플을 생성함으로써 대규모 레이블 데이터에 대한 의존도를 줄이기 위해.
• 기존 데이터셋을 수정하지 않고도 그래프의 구조를 유지하면서 클래스 수준의 감독을 강화하기 위해 LLM이 생성한 노드를 활용하기 위해.
• 최적의 모델 일반화를 위해 원본 데이터와의 일치도를 유지하면서 샘플의 다양성과 관련성을 균형 잡는 프롬프트 엔지니어링 전략을 탐색하기 위해.

제안 방법

• 클래스 레이블을 기반으로 프롬프팅하여 LLM을 활용해 노드 특징 임베딩을 생성하고, 의미 정보를 추출해 예시 샘플을 생성한다.
• 기존 그래프 내의 생성된 노드와 기존 노드 간의 구조적 관계를 추론하기 위해 미분 가능한 간선 예측 모델을 훈련시킨다.
• 생성된 노드와 간선을 원본 그래프에 통합하여 최종적으로 하류 GNN 훈련을 위한 증강된 그래프를 형성한다.
• GNN 재훈련이나 원본 그래프 구조 수정 없이도 적용 가능한 플러그 앤 플레이 설계를 채택한다.
• 생성 품질에 미치는 레이블 정보와 샘플 다양성의 영향을 탐색하기 위해 다양한 프롬프트 템플릿(예: ENG-P1에서 ENG-P6까지)을 설계한다.
• LLM을 사용한 확률적 샘플링을 통해 여러 실행에 걸쳐 생성된 샘플의 견고성과 일반화 능력을 평가한다.

실험 결과

연구 질문

• RQ1 저자원, 소수의 샘플이 주어진 그래프 학습 환경에서 LLM을 효과적으로 활용해 고품질의 클래스 인식형 노드 특징을 어떻게 생성할 수 있는가?
• RQ2 원본 그래프 데이터와의 일치도를 유지하면서 샘플의 관련성과 다양성을 극대화하는 프롬프트 엔지니어링 전략은 무엇인가?
• RQ3 생성된 샘플의 수가 모델 성능에 어떤 영향을 미치며, 성능 향상과의 균형을 고려할 때 최적의 수는 얼마인가?
• RQ4 LLM의 확률적 특성은 그래프 학습 과제에서 생성된 샘플의 신뢰성과 일관성에 어떤 영향을 미치는가?

주요 결과

• ogbn-arxiv 데이터셋의 1-shot 설정에서, ENG는 기준 GNN 모델 대비 76%의 정확도 향상을 달성한다.
• 생성된 샘플 수가 증가함에 따라 성능이 처음에는 향상되지만, 반복되거나 저품질 샘플로 인한 수익 감소로 인해 점차 정체된다.
• LLM이 생성한 샘플은 높은 일반화 능력을 보이며, 생성된 내용의 변동에도 불구하고 여러 확률적 실행에 걸쳐 일관된 성능을 유지한다.
• 프롬프트 설계가 성능에 큰 영향을 미친다: 레이블 간의 차이를 강조하는 프롬프트(예: ENG-P4)는 일반적이거나 너무 다양성이 높은 프롬프트(예: ENG-P5, ENG-P6)보다 더 우수한 성능을 낸다.
• 간선 예측 모델을 통해 LLM이 생성한 노드와 간선를 통합함으로써 원본 그래프를 수정하지 않고도 모델의 감독 강도를 높여 노드 분류 성능을 향상시킬 수 있다.
• 이 방법은 극도로 낮은 샘플 수의 환경에서도 효과적이며, LLM이 그래프 학습을 위한 확장 가능한 합성 감독 소스로 활용될 수 있음을 보여준다.