[논문 리뷰] Laplacian Regularized Few-Shot Learning

Imtiaz Masud Ziko, José Dolz외 2명|arXiv (Cornell University)|2020. 06. 28.

Domain Adaptation and Few-Shot Learning인용 수 56

한 줄 요약

본 논문은 LaplacianShot을 소개한다. 이는 질의-레이블 할당에 대해 Laplacian-regularized 이차 목적 함수를 최소화하는 전지향(transductive) 소수샷 학습 방법으로, 기본 클래스의 프로토타입과 친화도 기반의 쌍항(pairwise term)을 활용하여 기본 모델의 재훈련 없이 정확도를 향상시킨다.

ABSTRACT

We propose a transductive Laplacian-regularized inference for few-shot tasks. Given any feature embedding learned from the base classes, we minimize a quadratic binary-assignment function containing two terms: (1) a unary term assigning query samples to the nearest class prototype, and (2) a pairwise Laplacian term encouraging nearby query samples to have consistent label assignments. Our transductive inference does not re-train the base model, and can be viewed as a graph clustering of the query set, subject to supervision constraints from the support set. We derive a computationally efficient bound optimizer of a relaxation of our function, which computes independent (parallel) updates for each query sample, while guaranteeing convergence. Following a simple cross-entropy training on the base classes, and without complex meta-learning strategies, we conducted comprehensive experiments over five few-shot learning benchmarks. Our LaplacianShot consistently outperforms state-of-the-art methods by significant margins across different models, settings, and data sets. Furthermore, our transductive inference is very fast, with computational times that are close to inductive inference, and can be used for large-scale few-shot tasks.

연구 동기 및 목표

• 기본 모델 재훈련 없이 소수샷 분류에서 효과적인 전지향 추론의 필요성을 동기부여하고 해결한다.
• 단항(프로토타입 기반)과 쌍항(Laplacian) 포텐셜을 모두 활용하여 질의-레이블 일관성을 향상시킨다.
• 계산적으로 효율적인 경계 최적화(bound-optimization) 알고리즘을 제공하며, 해폐 형식의 닫힌 형태의 병렬 업데이트와 수렴 보장을 제공한다.
• 다양한 백본을 가진 다섯 개 벤치마크에서 강력한 실험적 성능을 입증하여 강인성과 확장성을 보인다.

제안 방법

• 최근접 프로토타입 단항항과 쌍항 Laplacian 항을 결합한 질의-레이블 할당 Y에 대한 Laplacian-정규화 이차 목적 함수를 형식화한다.
• 이진 정수 제약을 컨케이브(relaxation)로 완화하고 음엔트로피 장벽을 추가하여 닫힌 형태의 병렬 업데이트를 가능하게 한다.
• 각 질의 포인트 y_q가 독립적으로 a_q와 b_q^i(식 12)에 대한 소프트맥스으로 업데이트되는 바운드 최적화(MM/CCCP 유사) 업데이트를 도출한다.
• 프로토타입 m_c까지의 거리로부터 a_q를, 그래프 친화도 w(x_q, x_p)와 현재 레이블로부터의 b_q^i를 계산하고 업데이트 수렴(경계의 단조 감소)을 보장한다.
• 해석은 Laplacian 정규화를 비모수적 어텐션과 연결하고, 표준 메타 러닝 기반 어텐션과의 차이점을 지적한다.
• 참고: W는 k-최근접 이웃 친화도를 사용하고, lambda는 단항항과 Laplacian 항 사이의 트레이드오프를 제어한다.

실험 결과

연구 질문

• RQ1 기본 모델의 재훈련 없이 Laplacian 정규화를 통한 전지향 추론이 소수샷 분류를 개선할 수 있는가?
• RQ2 질의-질의 쌍항 친화도를 단항 프로타입 항과 어떻게 보완하여 서로 다른 데이터셋과 백본에서 정확도를 높일 수 있는가?
• RQ3 실제 대규모 작업에서 제안된 바운드 최적화 Laplacian-정규화 추론의 계산 비용과 수렴 거동은 무엇인가?
• RQ4 정류된 프로토타입과 특징 변환이 Laplacian 정규화와 어떻게 상호 작용하여 성능에 영향을 미치는가?

주요 결과

방법	네트워크	Mini ImageNet 1샷	Mini ImageNet 5샷	Tiered ImageNet 1샷	Tiered ImageNet 5샷
LaplacianShot (ours)	ResNet-18	72.11 ± 0.19	82.31 ± 0.14	78.98 ± 0.21	86.39 ± 0.16

• LaplacianShot은 다섯 벤치마크와 다양한 네트워크에서 일관되게 최첨단 방법보다 성능을 향상시킨다.
• 전지향 추론은 속도가 빠르며, 귀납 추론에 근접한 시간으로 대규모 소수샷 작업을 가능하게 한다.
• 단순한 기본 학습(크로스 엔트로피)으로도 강력한 결과를 달성하며, 복잡한 메타러닝 없이 가능하다.
• kNN 기반 친화도와 제안된 바운드 최적화는 독립적이고 병렬 업데이트를 가능하게 하며 수렴이 보장된다.
• 정류된 프로토타입은 몇몇 벤치마크에서 성능을 더욱 향상시킬 수 있지만, iNat에서는 오히려 해로울 수 있다.
• 실험 결과 Laplacian 정규화가 nearest-prototype 분류(lambda=0) 이상으로 상당한 이득을 제공함을 보여준다.