[논문 리뷰] ECKPN: Explicit Class Knowledge Propagation Network for Transductive Few-shot Learning

Chaofan Chen, Xiaoshan Yang외 3명|arXiv (Cornell University)|2021. 06. 16.

Domain Adaptation and Few-Shot Learning참고 문헌 45인용 수 6

한 줄 요약

이 논문은 비교, 압축, 校정 모듈 파이프라인을 통해 클래스 수준 지식을 명시적으로 모델링하는 새로운 전이적 few-shot 학습 프레임워크인 ECKPN을 제안한다. 그래프 기반 메시지 전파를 통해 분류기별 특징 표현을 학습하고 전파함으로써 ECKPN은 네 가지 벤치마크에서 최신 기준 성능을 달성하였으며, 5-way 1-shot 설정에서 이전 방법들보다 최대 1.5% 높은 정확도를 기록하였다.

ABSTRACT

Recently, the transductive graph-based methods have achieved great success in the few-shot classification task. However, most existing methods ignore exploring the class-level knowledge that can be easily learned by humans from just a handful of samples. In this paper, we propose an Explicit Class Knowledge Propagation Network (ECKPN), which is composed of the comparison, squeeze and calibration modules, to address this problem. Specifically, we first employ the comparison module to explore the pairwise sample relations to learn rich sample representations in the instance-level graph. Then, we squeeze the instance-level graph to generate the class-level graph, which can help obtain the class-level visual knowledge and facilitate modeling the relations of different classes. Next, the calibration module is adopted to characterize the relations of the classes explicitly to obtain the more discriminative class-level knowledge representations. Finally, we combine the class-level knowledge with the instance-level sample representations to guide the inference of the query samples. We conduct extensive experiments on four few-shot classification benchmarks, and the experimental results show that the proposed ECKPN significantly outperforms the state-of-the-art methods.

연구 동기 및 목표

• 기존의 전이적 그래프 기반 few-shot 학습 방법들이 전반적인 클래스 수준 지식을 간과하는 한계를 해결하기 위해.
• 클래스 수준의 시각적 및 의미적 지식을 명시적으로 학습하고 전파하여 쿼리 샘플의 분류 성능을 향상시키기 위해.
• 개별 샘플 수준과 클래스 수준 지식을 통합하는 모듈식이고 종단 간(end-to-end)인 그래프 신경망을 설계하여 더 나은 few-shot 일반화 성능을 달성하기 위해.
• 클래스 수준 지식의 명시적 모델링이 저샷 시나리오에서 모델의 강건성과 정확도를 향상시킨다는 것을 입증하기 위해.

제안 방법

• 비교 모듈은 다중 헤드 관계를 사용하여 인스턴스 수준 그래프에서 세밀한 쌍별 샘플 관계를 포착하고, 시각적 특징 차원을 통해 그룹 단위의 특징 집합을 가능하게 한다.
• 압축 모듈은 각 클래스별로 지원 샘플을 집계하여 인스턴스 수준 그래프를 클래스 수준 그래프로 압축함으로써 초기 클래스 수준 표현을 형성한다.
• 교정 모듈은 학습된 클래스 임베딩를 사용하여 상호 클래스 간 관계를 명시적으로 모델링하여 클래스 수준 지식을 정교화함으로써 분류 성능을 향상시킨다.
• 시각적 특징과 텍스트 임베딩(예: CLIP에서 유래)을 융합하여 다중 모odal 클래스 표현을 구성함으로써 클래스 수준 지식을 풍부하게 한다.
• 최종 추론은 인스턴스 수준 샘플 표현과 校정된 클래스 수준 지식을 결합하여 쿼리 분류를 수행한다.
• 모델은 에피소드 학습을 사용한 메타학습을 통해 종단 간(end-to-end)으로 훈련되며, 각 에피소드는 few-shot 적응을 위한 지원 세트와 쿼리 세트를 포함한다.

실험 결과

연구 질문

• RQ1 클래스 수준 지식의 명시적 모델링이 인스턴스 수준 관계를 넘어서 few-shot 분류 성능 향상에 기여할 수 있는가?
• RQ2 클래스 수준에서 시각적 및 의미적 지식을 모두 통합할 경우 저샷 시나리오에서 모델의 일반화 성능에 어떤 영향을 미치는가?
• RQ3 다중 헤드 관계를 활용한 구조적 메시지 전파가 세밀한 샘플 비교를 포착하는 데 기여하는 정도는 어떠한가?
• RQ4 압축 모듈과 교정 모듈 각각이 전이적 few-shot 학습에서 성능에 미치는 영향은 어떠한가?

주요 결과

• ECKPN은 68.89%의 정확도로 miniImageNet(5-way 1-shot)에서 Conv-4를 사용할 경우와 70.48%로 ResNet-12를 사용할 경우를 포함한 네 가지 few-shot 벤치마크에서 최신 기준 성능을 달성하였다.
• 교정 모듈을 사용할 경우, 각각 Conv-4와 ResNet-12 백본에서 기준 모델 대비 정확도가 0.65%와 0.72% 향상되었다.
• 압축 및 교정 모듈를 제거한 'None-Class' 버전은 각각 Conv-4와 ResNet-12에서 정확도가 1.57%와 1.36% 감소하여 이들의 핵심적 역할을 입증하였다.
• 비교 모듈에서 8헤드 관계를 사용할 경우 정확도와 복잡도 사이의 최적의 트레이드오프를 확보하였으며, 이 구성에서 성능가 최고에 도달하였다.
• 다중 모달 클래스 지식(시각적 + 텍스트적)은 기여가 크며, 제거 실험에서 양 모odal을 모두 사용할 경우 정확도가 0.7–0.9% 향상됨을 확인하였다.
• 비교 모듈에서 6개의 메시지 전달 레이어를 초과하면 성능이 안정화되어 표현 학습에 충분한 깊이를 확보하고 있음을 나타낸다.