[논문 리뷰] Learning to Propagate for Graph Meta-Learning

Lu Liu, Tianyi Zhou외 3명|arXiv (Cornell University)|2019. 09. 11.

Domain Adaptation and Few-Shot Learning인용 수 49

한 줄 요약

이 논문은 낮은 수의 샘플 분류를 향상시키기 위해 클래스 그래프를 통해 클래스 프로토타입을 전파하는 메타 학습자 Gated Propagation Network (GPN)를 도입합니다. 메모리 기반의 lifelong 업데이트 및 멀티-헤드 어텐션 게이트를 통해 일관된 개선을 달성하며, ImageNet 파생 그래프 데이터셋 두 가지에서 벤치마크 대비 성능이 향상됩니다.

ABSTRACT

Meta-learning extracts common knowledge from learning different tasks and uses it for unseen tasks. It can significantly improve tasks that suffer from insufficient training data, e.g., few shot learning. In most meta-learning methods, tasks are implicitly related by sharing parameters or optimizer. In this paper, we show that a meta-learner that explicitly relates tasks on a graph describing the relations of their output dimensions (e.g., classes) can significantly improve few shot learning. The graph's structure is usually free or cheap to obtain but has rarely been explored in previous works. We develop a novel meta-learner of this type for prototype-based classification, in which a prototype is generated for each class, such that the nearest neighbor search among the prototypes produces an accurate classification. The meta-learner, called "Gated Propagation Network (GPN)", learns to propagate messages between prototypes of different classes on the graph, so that learning the prototype of each class benefits from the data of other related classes. In GPN, an attention mechanism aggregates messages from neighboring classes of each class, with a gate choosing between the aggregated message and the message from the class itself. We train GPN on a sequence of tasks from many-shot to few shot generated by subgraph sampling. During training, it is able to reuse and update previously achieved prototypes from the memory in a life-long learning cycle. In experiments, under different training-test discrepancy and test task generation settings, GPN outperforms recent meta-learning methods on two benchmark datasets. The code of GPN and dataset generation is available at https://github.com/liulu112601/Gated-Propagation-Net.

연구 동기 및 목표

• 클래스 간의 그래프 구조화된 관계를 활용해 프로토타입을 관련 클래스에 전파하여 few-shot 학습을 개선합니다.
• 그래프에서 이웃 클래스타 정보를 통합하여 클래스 프로토타입을 업데이트할 수 있는 메타-학습자를 개발합니다.
• 새로운 작업을 지원하기 위해 프로토타입의 기억을 유지하여 lifelong 학습을 가능하게 합니다.

제안 방법

• 프로토타입은 각 클래스별로 K-shot 샘플의 평균으로 초기화되고 그래프 기반 전파를 통해 정제된다."
• 메시지를 집계할 때 이웃 프로토타입의 가중치를 부여하기 위해 멀티-헤드 어텐션을 사용합니다.
• 가우핑 게이팅 메커니즘을 적용하여 이웃에서 전파된 메시지와 클래스 자체 메시지 사이의 선택을 결정합니다.
• 직접 이웃을 넘어 관계 추론이 가능하도록 그래프에서 여러 단계에 걸쳐 메시지를 전파합니다.
• 현재 작업 세트에서 클래스가 이웃이 없을 때 전파를 지원하기 위해 프로토타입의 기억을 유지합니다.
• auxiliary supervised task와 annealing을 포함한 커리큘럼 학습 전략으로 학습하고 propagation 경로를 제약하기 위한 최대 신장 트리(MST)를 구축합니다.

실험 결과

연구 질문

• RQ1 클래스 그래프에서 정의된 명시적 작업 간 관계가 few-shot 분류를 위한 메타 학습을 개선할 수 있는가?
• RQ2 그래프 간선을 통해 클래스 프로토타입을 전파하면 전통적 프로토타입 네트워크보다 더 나은 결정 경계를 형성하는가?
• RQ3 메모리, MST 기반 전파 경로, 멀티-헤드 게이트가 성능과 효율성에 어떻게 기여하는가?
• RQ4 학습 클래스와 테스트 클래스 간의 작업 거리(그래프 홉)가 GPN 성능에 미치는 영향은 무엇인가?

주요 결과

• GPN은 tiered ImageNet-Close 및 tiered ImageNet-Far에서 여러 설정에 걸쳐 최근의 몇샷 베이스라인보다 성능이 우수합니다.
• 랜덤 샘플링을 사용하는 tiered ImageNet-Close에서 5-way 1-shot 정확도: GPN 48.37% vs Prototypical Net 42.87% 및 GPN+ 50.54%.
• 같은 설정에서 5-way 5-shot의 경우 64.14% (GPN) vs 62.68% (Prototypical Net) 및 65.74% (GPN+).
• 눈덩이 샘플링(더 가까운 작업 관계)에서는 5-way 1-shot 정확도: GPN 39.56% vs Prototypical Net 35.27% 및 GPN+ 40.78%.
• 랜덤 샘플링을 사용하는 tiered ImageNet-Far에서 5-way 1-shot 정확도: GPN 47.54% vs Prototypical Net 44.30% 및 GPN+ 47.49%.
• 모든 보고된 설정에서 GPN은 벤치마라인 대비 유의미한 개선을 보이며, 학습/테스트 클래스가 그래프에서 더 가깝게 배치될수록 이점이 커지며(GPN+가 종종 도움을 줌).