[논문 리뷰] Transductive Few-shot Learning with Prototype-based Label Propagation by Iterative Graph Refinement

Hao Zhu, Piotr Koniusz|arXiv (Cornell University)|2023. 04. 23.

Domain Adaptation and Few-Shot Learning인용 수 5

한 줄 요약

이 논문은 프로토타입 기반 학습과 레이블 전파를 반복적인 그래프 정련을 통해 통합하는 새로운 이행적 소수 샘플 학습 프레임워크인 protoLP를 제안한다. 동적으로 업데이트되는 프로토타입과 레이블 예측 기반으로 재설정되는 그래프를 통해, mini-ImageNet, tiered-ImageNet, CIFAR-FS 및 CUB에서 최신 기술 수준의 성능을 달성하며, 특히 클래스 불균형 설정에서 뛰어난 성능을 보이며, 빠른 추론 속도를 유지하고 균일한 클래스 사전 확률 가정에 의존하지 않는다.

ABSTRACT

Few-shot learning (FSL) is popular due to its ability to adapt to novel classes. Compared with inductive few-shot learning, transductive models typically perform better as they leverage all samples of the query set. The two existing classes of methods, prototype-based and graph-based, have the disadvantages of inaccurate prototype estimation and sub-optimal graph construction with kernel functions, respectively. In this paper, we propose a novel prototype-based label propagation to solve these issues. Specifically, our graph construction is based on the relation between prototypes and samples rather than between samples. As prototypes are being updated, the graph changes. We also estimate the label of each prototype instead of considering a prototype be the class centre. On mini-ImageNet, tiered-ImageNet, CIFAR-FS and CUB datasets, we show the proposed method outperforms other state-of-the-art methods in transductive FSL and semi-supervised FSL when some unlabeled data accompanies the novel few-shot task.

연구 동기 및 목표

• 기존의 프로토타입 기반 및 그래프 기반 이행적 소수 샘플 학습 방법이 겪는 정확도가 떨어지는 프로토타입 추정과 고정된, 최적화되지 않은 그래프 구조의 한계를 해결하기 위해.
• 프로토타입 학습과 레이블 전파를 하나의 종단 간 프레임워크로 통합하여, 프로토타입과 그래프 구조를 함께 최적화하는 것을 목적으로 한다.
• 성능이 불균형한 소수 샘플 설정에서 떨어지는 균일한 클래스 사전 확률 가정에 의존하지 않도록 제거하기 위해.
• 다양한 데이터셋, 백본, 데이터 증강 전략에 걸쳐 일반화 능력과 강건성을 향상시키기 위해.
• 인도크티브 방법과 유사한 높은 추론 속도를 유지하면서도 최신 기술 수준의 정확도를 달성하기 위해.

제안 방법

• 샘플 간의 유사도가 아닌 프로토타입과 쿼리 샘플 간의 유사도를 기반으로 그래프를 구성함으로써 최적화 도중 동적으로 그래프를 업데이트할 수 있도록 한다.
• 커널 회귀(또는 최적 운반 문제)를 풀어 샘플을 프로토타입에 할당하고, 프로토타입 기반 레이블 전파를 수행하여 소프트 레이블 점수를 예측하는 것을 번갈아가며 수행한다.
• 예측된 레이블 분포를 사용하여 프로토타입을 반복적으로 업데이트함으로써 보다 정교한 표현 학습이 가능해진다.
• 레이블 전파 단계를 파rameter화함으로써 균일한 클래스 사전 확률 가정이 필요 없어지며, 클래스 불균형에 대한 강건성이 향상된다.
• 플러그 앤 플레이 형식으로 구현되어 어떤 사전 학습된 백본과도 호환되며, 다양한 FSL 파ip라인에 적용 가능하다.
• 프로토타입 할당과 레이블 예측을 균형 잡는 공동 목적 함수를 번갈아 최소화하여 최적화를 수행한다.

실험 결과

연구 질문

• RQ1 반복적으로 프로토타입과 그래프 구조를 정련하는 통합 프레임워크가 기존의 프로토타입 기반 및 그래프 기반 이행적 FSL 방법을 능가할 수 있는가?
• RQ2 균일한 클래스 사전 확률 가정을 제거하면 불균형한 소수 샘플 벤치마크에서 성능이 향상되는가?
• RQ3 다양한 데이터셋과 백본에서 최신 기술 수준의 정확도를 달성하면서도 고속 추론 속도를 유지할 수 있는가?
• RQ4 샘플-프로토타입 관계를 기반으로 하는 동적 그래프 구축 방식이 고정된 커널 기반 그래프에 비해 강건성과 정확도 면에서 어떻게 비교되는가?
• RQ5 다양한 데이터 증강 전략과 모델 아키텍처 간에서 이 방법의 일반화 능력은 어느 정도인가?

주요 결과

• mini-ImageNet 및 tiered-ImageNet에서 WRN-28-10를 사용한 1-샷 및 5-샷 프로토콜에서 각각 84.69% 및 89.47%의 정확도를 기록하여 기존 최신 기술 수준의 방법을 능가한다.
• 불균형 설정(α=2)에서 1-샷 프로토콜에서 mini-ImageNet, tiered-ImageNet, CUB에서 각각 3.3%, 5.6%, 6.5% 향상되어 베이스라인을 초월한다.
• ResNet-12를 사용한 CUB에서 불균형 1-샷 설정에서 82.22%의 정확도를 기록하여 PT-MAP(65.1%)와 LaplacianShot(73.7%)를 크게 앞서며 뚜렷한 승리를 거두었다.
• DenseNet 및 MobileNet 백본을 사용한 경우, mini-ImageNet 1-샷에서 TAFFSL 및 LaplacianShot을 각각 3.7%와 2.2% 초월하고, tiered-ImageNet 1-샷에서는 5.8%와 1.8% 초월한다.
• 손실가 10회 이내에 안정화되며, 각 에피소드당 몇 밀리초 내외로 실행되어 iLPC 및 ICI보다 약 10배 빠른 속도로 작동한다.
• protoLP는 클래스 불균형에 강건하며, 균일한 사전 확률 가정이 필요하지 않다. 이는 Sinkhorn이나 PT-MAP와 같이 불균형 설정에서 정확도가 급격히 떨어지는 방법들과는 달리, 성능 저하 없이 안정적인 성능을 유지한다.