[논문 리뷰] Data-Centric Learning from Unlabeled Graphs with Diffusion Model

Gang Liu, Eric Inae외 4명|arXiv (Cornell University)|2023. 03. 17.

Advanced Graph Neural Networks인용 수 6

한 줄 요약

이 논문은 그래프 속성 예측을 위한 작업별로 레이블이 부여된 그래프 증강을 생성하기 위해 미리 훈련된 확산 모델을 비라벨링된 그래프에 활용하는 데이터 중심 프레임워크인 DCT를 제안한다. 레이블 유지 및 구조적 다양성이라는 두 가지 작업별 목적함수로 역소거 과정을 안내함으로써, 비라벨링 데이터로부터 최소한의 충분한 지식을 전이하며, 15개 작업 전반에서 자기지도 학습 및 데이터 증강 베이스라인을 능가한다.

ABSTRACT

Graph property prediction tasks are important and numerous. While each task offers a small size of labeled examples, unlabeled graphs have been collected from various sources and at a large scale. A conventional approach is training a model with the unlabeled graphs on self-supervised tasks and then fine-tuning the model on the prediction tasks. However, the self-supervised task knowledge could not be aligned or sometimes conflicted with what the predictions needed. In this paper, we propose to extract the knowledge underlying the large set of unlabeled graphs as a specific set of useful data points to augment each property prediction model. We use a diffusion model to fully utilize the unlabeled graphs and design two new objectives to guide the model's denoising process with each task's labeled data to generate task-specific graph examples and their labels. Experiments demonstrate that our data-centric approach performs significantly better than fifteen existing various methods on fifteen tasks. The performance improvement brought by unlabeled data is visible as the generated labeled examples unlike the self-supervised learning.

연구 동기 및 목표

• 자기지도 학습의 사전 훈련 목표와 최종 그래프 속성 예측 작업 간의 부일치 문제를 해결하여, 지식 전이가 최적화되지 않는 것을 방지한다.
• 특정 예측 작업과 관련이 없는 구조적 모티프(예: 아로마틱 고리)에 과적합되는 자기지도 학습의 한계를 극복한다.
• 고정된, 보편적인 자기지도 학습 목표에 의존하지 않고, 대규모 비라벨링 그래프 데이터로부터 최소한의 작업 관련 지식을 효과적으로 추출하여 활용한다.
• 모델 파라미터 기반 지식 전이를 피하고 데이터 수준의 증강을 통해 유연하게 통합 가능한 데이터 중심 접근법을 개발하여, 훈련 데이터를 보완하고 모델의 일반화 능력 및 성능을 향상시킨다.
• 모델 파rameter 기반 지식 전이를 피하고, 데이터 수준의 증강을 통해 어떤 GNN 아키텍처와도 쉽게 통합할 수 있도록 한다.

제안 방법

• 대규모 비라벨링 그래프 세트에서 점수 기반 확산 모델을 훈련하여, 기저 데이터 분포를 학습한다.
• 추론 과정에서 목표 작업의 레이블이 부여된 그래프에 소음을 몇 단계 추가하여 역소거 과정을 시작한다.
• 점수 함수에 두 가지 작업별 목적함수를 도입한다: (1) 분류기 헤드를 통해 원본 그래프의 예측 레이블을 유지하고, (2) 원본 그래프와의 유사도를 최소화하여 다양성을 극대화한다.
• 가이드된 점수 함수를 사용하여, 구조적으로 다양하면서도 목표 작업과 의미적으로 일치하는 새로운 합성 레이블이 부여된 그래프를 생성한다.
• 이러한 생성된 그래프를 최종 훈련 세트에 증강하여, 어떤 그래프 속성 예측기의 성능을 향상시킨다.
• 생성된 예시가 해석 가능하며, 비라벨링 데이터로부터 최소한의 충분한 지식을 유지하면서도 해석 불가능한 파라미터 업데이트를 방지한다.

(a) Existing approach : Knowledge from self-supervised tasks could not be aligned or even conflict with what predictions need. Parameter initialization could hardly interpret how unlabeled graphs were or would be able to improve the models, leading to high prediction errors.

실험 결과

연구 질문

• RQ1 자기지도 학습 사전 훈련에 의존하지 않고도, 비라벨링 그래프에서의 지식이 최종 그래프 속성 예측 작업으로 효과적으로 전이될 수 있는가?
• RQ2 작업별 목적함수로 확산 모델의 역소거 과정을 안내할 경우, 표준 자기지도 학습 또는 데이터 증강 방법보다 더 나은 일반화 성능를 달성할 수 있는가?
• RQ3 생성된 합성 그래프가 모델 성능 향상에 기여하면서도, 가시성과 목표 작업의 의미론과의 갈등을 피할 수 있는가?
• RQ4 성능 및 데이터 활용 측면에서, 제안된 데이터 중심 접근법은 자기지도 학습 및 자기학습과 비교해 어떻게 성능을 내는가?
• RQ5 최소한의 레이블 데이터로도, 이 프레임워크가 다양한 그래프 속성 예측 작업에 얼마나 널리 일반화될 수 있는가?

주요 결과

• 제안된 DCT 프레임워크는 15개의 다양한 그래프 속성 예측 작업 전반에서, 자기지도 학습 및 그래프 데이터 증강을 포함한 15개의 기존 방법보다 뚜렷이 뛰어난 성능을 보였다.
• 비라벨링 데이터로부터의 성능 향상은 자기지도 학습에서의 해석 불가능한 파라미터 업데이트와는 달리, 생성된 합성 그래프를 통해 명확하고 해석 가능한 방식으로 관찰된다.
• 다양한 데이터셋에서 일관된 성능 향상이 나타나, 다양한 그래프 구조와 속성 유형에 대해 강건함을 입증한다.
• 레이블 유지 및 구조적 다양성이라는 이중 목적함수는 목표 작업에 대한 충실도와 새로운 그래프로의 일반화 능력 사이의 균형을 효과적으로 유지한다.
• 이 프레임워크는 모델 파라미터를 수정하지 않고도 어떤 GNN 아키텍처와도 쉽게 통합 가능하며, 데이터 수준에서 작동하므로 모델의 유연성이 높다.
• 결과적으로, 자기지도 학습 목표가 최종 작업과 부일치할 경우, 파라미터 기반 전이보다 데이터 증강을 통한 지식 전이가 더 효과적임을 보여준다.

(b) Data-centric approach : Target knowledge in labeled graphs guides the denoising process in diffusion model to generate new labeled examples close to the target graph space instead of the unlabeled graph space. The augmented knowledge for the prediction model is visible as graphs.