[논문 리뷰] Relational Generalized Few-Shot Learning

Xiahan Shi, Leonard Salewski외 3명|arXiv (Cornell University)|2019. 07. 22.

Domain Adaptation and Few-Shot Learning참고 문헌 49인용 수 16

한 줄 요약

이 논문은 관계 기반 일반화된 소수 샘플 학습을 위한 새로운 프레임워크인 그래프 컨volution 전역 프로토타입 네트워크(GcGPN)를 제안한다. 이는 가중치가 부여된 그래프를 통해 클래스 간 관계를 모델링하여, 본래의 클래스와 새로운 클래스의 프로토타입을 동시에 임베딩한다. 그래프 컨volution을 적용하여 관계 정보를 전파함으로써, GcGPN은 miniImageNet 및 CUB 벤치마크에서 최신 기술 수준(SOTA) 성능을 달성하며, 본래의 클래스와 새로운 클래스 간의 공동 분류에서 일반화 능력과 전역 일관성을 크게 향상시킨다.

ABSTRACT

Transferring learned models to novel tasks is a challenging problem, particularly if only very few labeled examples are available. Although this few-shot learning setup has received a lot of attention recently, most proposed methods focus on discriminating novel classes only. Instead, we consider the extended setup of generalized few-shot learning (GFSL), where the model is required to perform classification on the joint label space consisting of both previously seen and novel classes. We propose a graph-based framework that explicitly models relationships between all seen and novel classes in the joint label space. Our model Graph-convolutional Global Prototypical Networks (GcGPN) incorporates these inter-class relations using graph-convolution in order to embed novel class representations into the existing space of previously seen classes in a globally consistent manner. Our approach ensures both fast adaptation and global discrimination, which is the major challenge in GFSL. We demonstrate the benefits of our model on two challenging benchmark datasets.

연구 동기 및 목표

• 최소한의 레이블 예측을 통해 본래의 클래스와 새로운 클래스를 모두 분류해야 하는 일반화된 소수 샘플 학습(GFSL)의 과제를 해결한다.
• 기존의 소수 샘플 학습이 전체 레이블 공간에서의 전역 일관성을 유지하지 못하는 한계를 극복한다.
• 모든 본래 클래스와 새로운 클래스 간의 상호 클래스 관계를 명시적으로 모델링하는 통합 프레임워크를 도입하여 프로토타입의 일반화 능력과 분류 능력을 향상시킨다.
• 그래프 컨volution 네트워크를 사용해 관계 기반 프로토타입을 엔드 투 엔드로 학습함으로써, 새로운 작업에 대한 빠른 적응과 강인한 성능을 가능하게 한다.
• 측도 정보(예: 특성, 계통도 등)를 기반으로 유연하고 기울기 기반으로 확장 가능한 방식으로 관계 기반 사전 지식을 활용함으로써 최신 기술 수준의 성능를 달성한다.

제안 방법

• 특성, 의미적 임베딩 또는 유사도 측정과 같은 보조 정보를 사용하여 상호 클래스 관계를 나타내는 가중치가 부여된 그래프를 구축한다.
• 클래스 프로토타입 초기화: 새로운 클래스의 프로토타입은 지원 세트의 특징(평균 풀링을 통해)으로부터 유도하고, 본래 클래스의 프로토타입은 학습 가능한 파라미터로 설정한다.
• 모든 클래스에 걸쳐 공동 레이블 공간에서 관계 정보를 전파하기 위해 그래프 컨volution 네트워크(GCNs)를 적용하여 프로토타입을 전역적으로 일관되게 갱신한다.
• 질의 특징과 갱신된 프로토타입 간의 코사인 유사도를 사용하여 분류를 수행함으로써, 추론 에피소드 동안 빠른 추론을 가능하게 한다.
• 다양한 새로운 클래스를 포함하는 N-웨이 K-샷 태스크에서 에피소드 기반 학습을 통해 메타학습 설정에서 전체 모델을 엔드 투 엔드로 훈련한다.
• 보조 연산자(예: 특징 변환, 정규화)를 통합하고, 관계 모델링 및 아키텍처 구성 요소의 영향을 평가하기 위해 아블레이션 변형을 탐색한다.

실험 결과

연구 질문

• RQ1 관계 기반 그래프를 통해 상호 클래스 관계를 모델링하면, 기존의 소수 샘플 학습을 넘어서 일반화 능력이 향상되는가?
• RQ2 전역 관계 구조를 통합할 경우, 새로운 클래스에 대한 빠른 적응 능력과 본래 클래스에 대한 분류 능력 간의 균형은 어떻게 영향을 받는가?
• RQ3 다양한 종류의 보조 정보(예: 특성 대비 계통도)가 관계 기반 GFSL 모델의 성능에 얼마나 큰 영향을 미치는가?
• RQ4 프로토타입 개선에 그래프 컨볼루션 연산을 사용할 경우, 기존의 프로토타입 네트워크 대비 더 나은 일반화 능력을 달성하는가?
• RQ5 제안된 프레임워크는 성능 저하 없이 다양한 관계 연산자 및 보조 모듈을 쉽게 확장할 수 있는가?

주요 결과

• GcGPN은 1-샷 및 5-샷 일반화된 소수 샘플 학습 벤치마크에서 최신 기술 수준의 성능를 달성하였으며, miniImageNet에서 50.35%의 Joint-Joint 정확도와 45.92%의 조화 평균을 기록하였다.
• CUB에서 GcGPN은 1-샷 설정에서 50.62%의 Joint-Joint 정확도와 49.53%의 조화 평균을 기록하였으며, 이는 DFSLwoF를 포함한 이전 방법들을 크게 능가하였다.
• 기본 모델 대비 새로운 클래스의 통합 능력이 향상되어 Novel-Joint 정확도가 10퍼센트 포인트 이상 향상되었으며, 이는 새로운 클래스가 전역 레이블 공간에 더 잘 통합되었음을 시사한다.
• 특징 변환(GcGPN-aux-fc θB)과 같은 보조 연산자는 특히 저샷 환경에서 성능 향상을 이끌어내어 표현 능력의 증가가 유의미한 이점을 제공함을 입증하였다.
• CUB에서 세밀한 특성과 같은 더 풍부한 보조 정보를 사용할 경우, 계통도 기반 유사도 대비 약 3%의 정확도 향상을 기록하였으며, 이는 고품질의 관계 기반 사전 지식의 중요성을 강조한다.
• 아블레이션 연구 결과, 관계 모델링을 오직 새로운 클래스-본래 클래스 간 연결으로 제한할 경우 성능 저하가 발생함을 확인하였으며, 이는 모든 클래스를 아우르는 전역적 관계 전파의 必요성을 입증한다.