[논문 리뷰] Semi-Supervised Learning on Graphs with Feature-Augmented Graph Basis Functions

Wolfgang Erb|arXiv (Cornell University)|2020. 03. 17.

Advanced Graph Neural Networks참고 문헌 34인용 수 4

한 줄 요약

이 논문은 기하학적 구조와 추가적인 특징 정보를 스chu르-하단드 곱셈 업데이트를 통해 통합함으로써 분류 정확도를 향상시키기 위해 특징 보강된 그래프 기저 함수(GBFs)를 사용하는 그래프 기반의 준지도 학습 프레임워크를 제안한다. 이 방법은 비지도 클러스터링 또는 노드 특징에서 유도된 사전 지식을 표준 GBF 커널에 통합함으로써, 특히 웨이크포드 유방암 및 이온오스피어 데이터셋과 같은 실생활 데이터셋에서 레이블이 적은 경우에도 뛰어난 성능을 달성한다.

ABSTRACT

For semi-supervised learning on graphs, we study how initial kernels in a supervised learning regime can be augmented with additional information from known priors or from unsupervised learning outputs. These augmented kernels are constructed in a simple update scheme based on the Schur-Hadamard product of the kernel with additional feature kernels. As generators of the positive definite kernels we will focus on graph basis functions (GBF) that allow to include geometric information of the graph via the graph Fourier transform. Using a regularized least squares (RLS) approach for machine learning, we will test the derived augmented kernels for the classification of data on graphs.

연구 동기 및 목표

• 기하학적 구조와 외부 사전 지식을 커널 함수에 통합하여 그래프에서 준지도 학습을 향상시키는 것.
• 그래프 기저 함수와 특징 정보를 조합하기 위해 스chu르-하단드 곱셈을 사용하는 간단하고 효율적인 커널 보강 전략을 개발하는 것.
• 레이블이 제한된 경우에도 특징 보강된 GBF 커널이 표준 지도 학습 GBF-RLS를 능가함을 보여주는 것.
• 스펙트럼 클러스터링에서 유도된 비지도 사전 지식을 사용하여 합성 및 실생활 그래프 데이터셋에서 이 방법을 검증하는 것.

제안 방법

• 기하학적 구조를 인코딩하기 위해 그래프 푸리에 변환을 사용하여 정의된 양의 정합 그래프 기저 함수(GBFs)를 구성한다.
• 스펙트럼 클러스터링 등의 보조 특징 맵이나 그래프에서 특징 커널을 생성한다.
• 그래프와 특징 그래프의 카티esian 곱에 대한 텐서 곱 커널을 형성한다.
• 원래 GBF 커널과 특징 행렬의 스chu르-하단드 곱셈으로 표현된 제품 그래프에 통합된 특징 보강 커널을 추출한다.
• 재생 커널 힐버트 공간에서의 스무쓰니스를 강제하기 위해 보정된 최소 제곱법(RLS)을 사용하여 분류 작업을 해결한다.
• 유사도 그래프에 대해 정규화된 그래프 라플라시안을 사용하고, Shi-Malik 스펙트럼 클러스터링을 적용하여 이진 특징 그래프를 사전 지식으로 생성한다.

실험 결과

연구 질문

• RQ1 커널 보강을 통해 기하학적 및 특징 기반 사전 지식을 통합함으로써 그래프 기반의 커널 기반 준지도 학습이 향상될 수 있는가?
• RQ2 GBF 커널과 특징 커널의 스chu르-하단드 곱셈이 레이블이 제한된 경우 분류 정확도에 어떤 영향을 미치는가?
• RQ3 비지도 클러스터링 결과(예: 스펙트럼 클러스터링)가 준지도 그래프 학습에서 효과적인 사전 지식으로 기능할 수 있는 정도는 어느 정도인가?
• RQ4 특징 보강은 높은 분류 정확도를 달성하기 위해 필요한 레이블 수를 줄이는 데 기여하는가?

주요 결과

• 이온오스피어 데이터셋에서 특징 보강된 GBF-RLS는 60개의 레이블이 있는 상태에서 90.05%의 정확도를 기록했으며, 이는 지도 학습 GBF-RLS(87.18%)와 비지도 스펙트럼 분류기(71.79%)를 모두 초월했다.
• 웨이크포드 유방암 데이터셋에서 준지도 학습 $oldsymbol{ ho}$-GBF-RLS는 64개의 레이블이 있는 상태에서 96.05%의 정확도를 달성했으며, 이는 비지도 스펙트럼 분류기와 동일한 성능을 보였고, 지도 학습 GBF-RLS는 전체 레이블링 조건에서 96.43%의 정확도를 기록했다.
• 오직 2개의 레이블만으로도 특징 보강 방법은 WBC에서 91.68%의 정확도를 달성했으며, 이는 지도 학습 GBF-RLS의 72.73%에 비해 뛰어난 데이터 효율성을 보였다.
• 이중 반달 합성 데이터셋에서 특징 보강 커널은 동일한 정확도를 달성하기 위해 필요한 레이블 수를 최대 50%까지 줄였다.
• 이 방법은 큰 그래프에서도 높은 성능을 유지하며, 특징 사전 지식의 노이즈에 대해 안정성과 확장성을 보였다.