[논문 리뷰] Prototypical Networks for Few-shot Learning
프로토타입 네트워크는 각 클래스가 그 예시들의 평균(프로토타입)으로 표현되는 간단한 임베딩을 학습합니다; 분류는 유클리드 거리를 사용하여 가장 가까운 프로토타입으로 이루어지며, few-shot 및 zero-shot 작업에서 최첨단 성능을 달성합니다.
We propose prototypical networks for the problem of few-shot classification, where a classifier must generalize to new classes not seen in the training set, given only a small number of examples of each new class. Prototypical networks learn a metric space in which classification can be performed by computing distances to prototype representations of each class. Compared to recent approaches for few-shot learning, they reflect a simpler inductive bias that is beneficial in this limited-data regime, and achieve excellent results. We provide an analysis showing that some simple design decisions can yield substantial improvements over recent approaches involving complicated architectural choices and meta-learning. We further extend prototypical networks to zero-shot learning and achieve state-of-the-art results on the CU-Birds dataset.
연구 동기 및 목표
- few-shot 분류에서 제한된 데이터로 과적합을 완화하기 위한 간단하고 데이터 효율적인 귀납 바이어스를 동기화한다.
- 임베딩 공간에서 각 클래스가 단일 프로토타입으로 표현되는 메트릭 기반 접근법을 제안한다.
- 클래스 프로토타입에 대한 유클리드 거리가 강한 성능을 낳고, 혼합 밀도 및 클러스터링 개념으로 방법을 해석한다.
- 클래스 메타데이터를 임베딩하여 프로토타입을 형성하고 표준 벤치마크에서 평가하는 것을 통해 제로샷 학습으로 확장한다.
제안 방법
- 입력을 M-차원 공간으로 매핑하는 임베딩 함수 f_phi를 학습한다.
- 각 클래스 k에 대해 임베딩된 지원 샘플의 평균으로 프로토타입 c_k를 정의한다: c_k = (1/|S_k|) sum_{(x_i,y_i) in S_k} f_phi(x_i).
- 쿼리 x의 분류를 p_phi(y=k|x)로, exp(-d(f_phi(x), c_k))를 비례시키는 nó를 사용하여 거리 d(주로 제곱 유클리드 거리)로 정의한다.
- 지원 집합과 질의 집합의 일부 클래스를 샘플링한 에피소드들에서 실제 클래스의 음의 로그 가능도를 최소화하는 방향으로 학습한다.
- 정규 브레그만 다이버전스에 대해 probabilistic 해석을 제공하면, 모델은 프로토타입 평균을 중심으로 하는 유한 혼합으로 해석된다.
- 제로샷 학습으로 확장하여 c_k = g_theta(v_k)로 설정하고, v_k는 클래스 메타데이터이며 g_theta는 학습된 임베딩이다; 필요할 때 프로토타입 노름을 고정한다.
실험 결과
연구 질문
- RQ1고정된 수의 프로토타입으로 구성된 단순한 프로토타입 기반 임베딩이 few-shot 설정에서 보지 못한 클래스에 일반화할 수 있는가?
- RQ2거리 측정 방법의 선택이 few-shot 학습에서 프로토타입 기반 분류의 성능에 어떤 영향을 미치는가?
- RQ3에피소드 학습 및 higher-way 에피소드로 학습하는 것이 few-shot 작업의 일반화에 도움이 되는가?
- RQ4클래스 메타데이터를 사용한 제로샷 학습으로 프로토타입 프레임워크를 효과적으로 확장할 수 있는가?
주요 결과
- Omniglot에서 Euclidean 거리로 ProtoNets를 적용하면 1-shot: 98.8% 및 5-shot: 99.7% (5-way), 96.0%/98.9% (20-way) 등의 결과를 달성합니다.
- miniImageNet에서 ProtoNets는 1-shot: 49.42% 및 5-shot: 68.20% (5-way 설정)로, Matching Networks 및 Meta-Learner LSTM을 포함한 베이스라인을 능가합니다.
- CUB 제로샷에서 GoogLeNet 특징과 312-d 속성으로 프로토타입이 54.6% 50-class 정확도를 달성하여 다수의 속성 기반 및 임베딩 방법을 능가합니다.
- 유클리드 거리가 이 프레임워크에서 코사인 거리보다 일관되게 우수하며, 더 높은-way 학습 에피소드가 일반화 성능을 향상시킬 수 있습니다.
- 이 접근법은 많은 메타 러닝 방법보다 더 단순하고 효율적이면서 벤치마크 전반에서 최첨단 성능을 달성합니다.
이 논문 읽기
누빈트 뷰어에서 원문을 열고, 읽으면서 궁금한 곳을 바로 물어보세요.
누빈트에서 이 논문 읽기이 리뷰는 AI가 논문 원문을 바탕으로 만들었습니다. 인용하기 전에 원문을 확인해 주세요.