[논문 리뷰] Adaptive-Step Graph Meta-Learner for Few-Shot Graph Classification

Ning Ma, Jiajun Bu외 6명|arXiv (Cornell University)|2020. 03. 18.

Advanced Graph Neural Networks참고 문헌 54인용 수 6

한 줄 요약

이 논문은 적은 수의 샘플로도 빠르고 강건하게 미리 보지 않은 그래프 클래스에 적응할 수 있도록 적응형 스텝 컨트롤러를 갖춘 그래프 메타러닝 기반의 새로운 메타러닝 프레임워크인 AS-MAML을 제안한다. 국소적인 부분 구조를 캡처하기 위해 GNN을 활용하고, 비지도 임베딩 품질 측정 지표(ANI)를 사용하는 강화학습 기반의 스텝 컨트롤러를 도입함으로써, 다수의 적은 샘플 그래프 벤치마크에서 기존의 공통 초클래스나 전역 스펙트럼 클러스터링에 의존하는 방법들을 능가하는 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Graph classification aims to extract accurate information from graph-structured data for classification and is becoming more and more important in graph learning community. Although Graph Neural Networks (GNNs) have been successfully applied to graph classification tasks, most of them overlook the scarcity of labeled graph data in many applications. For example, in bioinformatics, obtaining protein graph labels usually needs laborious experiments. Recently, few-shot learning has been explored to alleviate this problem with only given a few labeled graph samples of test classes. The shared sub-structures between training classes and test classes are essential in few-shot graph classification. Exiting methods assume that the test classes belong to the same set of super-classes clustered from training classes. However, according to our observations, the label spaces of training classes and test classes usually do not overlap in real-world scenario. As a result, the existing methods don't well capture the local structures of unseen test classes. To overcome the limitation, in this paper, we propose a direct method to capture the sub-structures with well initialized meta-learner within a few adaptation steps. More specifically, (1) we propose a novel framework consisting of a graph meta-learner, which uses GNNs based modules for fast adaptation on graph data, and a step controller for the robustness and generalization of meta-learner; (2) we provide quantitative analysis for the framework and give a graph-dependent upper bound of the generalization error based on our framework; (3) the extensive experiments on real-world datasets demonstrate that our framework gets state-of-the-art results on several few-shot graph classification tasks compared to baselines.

연구 동기 및 목표

• 생물정보학과 같은 실제 응용 분야에서 레이블이 부족한 경우가 많은 적은 샘플 그래프 분류 문제를 해결하기 위해.
• 기존 방법들이 훈련 클래스와 테스트 클래스 간에 겹치는 레이블 공간을 가정하는 데에 한계가 있음을 극복하기 위해, 공통된 국소적 부분 구조에 초점을 맞춘다.
• 최소한의 레이블 예시로도 새로운 그래프 클래스에 대해 빠르고 강건하게 적응할 수 있는 메타러닝 프레임워크를 개발하기 위해.
• 임베딩 품질에 기반해 적응 스텝 수를 동적으로 조정할 수 있는 학습 가능한 스텝 컨트롤러를 도입하여 일반화 능력을 향상시키고 과적합을 줄이기 위해.
• 그래프에 의존하는 성질에 기반한 이론적 일반화 오차 상한을 제공하여 프레임워크의 강건성을 뒷받침하기 위해.

제안 방법

• 프레임워크는 지원 그래프에서 작업별 표현을 추출하기 위해 GNN(예: GraphSAGE 및 SAGPool) 기반의 그래프 메타러너를 사용한다.
• 강화학습을 통해 구현된 적응형 스텝 컨트롤러는 ANI(Average Neighborhood Informativeness)라는 비지도 측정 지표로 측정한 임베딩 품질에 따라 각 작업에 대한 적응 스텝 수를 동적으로 조정한다.
• ANI는 탐색(ANI가 낮을 때 더 많은 스텝)과 이용(ANI가 높을 때 더 적은 스텝)의 균형을 이루기 위해 컨트롤러를 이끄는 보상 신호로 사용된다.
• 메타러너는 각 에피소드가 적은 샘플 분류 작업을 시뮬레이션하는 에피소드 기반 훈련 파라다임을 사용한다.
• 다수의 에피소드에 걸쳐 메타손실을 최소화하는 메타최적화 목표를 사용하여 프레임워크를 엔드 투 엔드로 훈련시킨다.
• 이론적 분석을 통해 그래프 데이터의 구조적 성질과 관련된 일반화 오차에 대한 그래프에 의존하는 상한을 제시한다.

실험 결과

연구 질문

• RQ1 훈련 클래스와 테스트 클래스 간에 겹치는 레이블 공간이 없을 때, 적응형 스텝 제어 기능이 있는 메타러너가 새로운 그래프 클래스로 더 잘 일반화할 수 있는가?
• RQ2 전역 초클래스 클러스터링 대신 국소적 부분 구조 유사도를 사용할 경우, 적은 샘플 그래프 분류 성능이 향상되는가?
• RQ3 비지도 임베딩 품질 측정 지표(ANI)가 그래프 데이터의 메타러닝 적응 과정을 효과적으로 이끌 수 있는가?
• RQ4 적응형 스텝 컨트롤러는 그래프에서의 적은 샘플 적응 과정 동안 강건성을 향상시키고 과적합을 방지하는 데 어떤 기여를 하는가?
• RQ5 적은 샘플 학습에서 일반화 오차와 그래프 데이터의 구조적 성질 간의 이론적 관계는 무엇인가?

주요 결과

• 5-way-10-shot 설정에서 COIL-DEL 데이터셋에서 AS-MAML은 테스트 정확도 88.7%를 달성하여 피지컬 테스트 베이스라인보다 3.06% 높고, 비적응형 버전(AS-MAML wo/AS)보다 2.28% 높다.
• 5-way-5-shot 설정에서 COIL-DEL 데이터셋에서 메서드는 85.3%의 테스트 정확도를 기록했으며, 비적응형 베이스라인보다 3.51% 향상되었다.
• 제거 실험 결과, 적응형 스텝 컨트롤러가 성능 향상에 크게 기여하며, ANI 피드백에 기반해 스텝 수를 동적으로 조정함으로써 과적합을 줄이는 것으로 확인되었다.
• 미리 보지 않은 클래스에 대한 잠재 표현의 시각화 결과, 모델이 구분 능력 있는 부분 구조 인식 임베딩을 학습하는 것으로 확인되었다.
• TRIANGLES 및 Letter-High 데이터셋에서 AS-MAML은 GSM 기반 방법(Chauhan et al., 2020)을 크게 앞서며, 특히 삼각형 부분 구조가 흔한 TRIANGLES에서는 두드러진 성능 향상을 보였다.
• ANI 측정 지표는 분류 정확도와 양의 상관관계를 보이며, 정확도만으로는 과적합으로 인해 오해의 소지가 있을 수 있으나, 높은 ANI는 더 나은 그래프 임베딩을 의미함을 시사한다.