[논문 리뷰] Learning Prototype-oriented Set Representations for Meta-Learning

Dandan Guo, Long Tian외 3명|arXiv (Cornell University)|2021. 10. 18.

Domain Adaptation and Few-Shot Learning참고 문헌 40인용 수 4

한 줄 요약

이 논문은 메타학습 환경에서 집합 구조 데이터를 위한 요약 네트워크를 향상시키기 위해 전역 프로토타입 기반 분포 모델링을 통한 프로토타입 중심 최적 운반(POT) 프레임워크를 제안한다. 각 집합을 전역 프로토타입 상의 분포로 모델링하고, 경험적 집합 분포와 프로토타입 기반 분포 사이의 정규화된 최적 운반 거리 최소화를 통해 성능을 향상시킨다. 이 방법은 소수의 샘플에서 분류 및 생성 모델링의 특징 표현 학습을 향상시키며, MNIST, Flowers, Animal Faces 벤치마크에서 최신 기술 수준의 성능을 기록한다.

ABSTRACT

Learning from set-structured data is a fundamental problem that has recently attracted increasing attention, where a series of summary networks are introduced to deal with the set input. In fact, many meta-learning problems can be treated as set-input tasks. Most existing summary networks aim to design different architectures for the input set in order to enforce permutation invariance. However, scant attention has been paid to the common cases where different sets in a meta-distribution are closely related and share certain statistical properties. Viewing each set as a distribution over a set of global prototypes, this paper provides a novel prototype-oriented optimal transport (POT) framework to improve existing summary networks. To learn the distribution over the global prototypes, we minimize its regularized optimal transport distance to the set empirical distribution over data points, providing a natural unsupervised way to improve the summary network. Since our plug-and-play framework can be applied to many meta-learning problems, we further instantiate it to the cases of few-shot classification and implicit meta generative modeling. Extensive experiments demonstrate that our framework significantly improves the existing summary networks on learning more powerful summary statistics from sets and can be successfully integrated into metric-based few-shot classification and generative modeling applications, providing a promising tool for addressing set-input and meta-learning problems.

연구 동기 및 목표

• 기존 요약 네트워크가 집합으로부터 의미 있고 이식 가능한 요약 통계를 포착하는 데에 한계를 보이는 점, 특히 소수의 샘플 또는 메타학습 설정에서의 문제를 해결한다.
• 전역 프로토타입 기반의 분포 모델링 접근 방식을 도입하여 집합 인코딩 네트워크의 표현 능력을 향상시킨다.
• 최적 운반을 통한 유연하고 즉각적인, 작업에 특화되지 않은 정규화 메커니즘을 제공하여 재학습 없이 모델의 일반화 능력을 향상시킨다.
• 유사한 작업 간에 공유되는 구조화된 표현을 학습함으로써 새로운 집합과 분포에 더 잘 적응할 수 있도록 한다.
• 요약 네트워크의 적용 범위를 감독 기반 소수의 샘플 분류와 비감독 기반 암묵적 생성 모델링 모두로 확장한다.

제안 방법

• 입력 집합을 데이터 포인트 상의 경험적 분포와 K개의 전역 가속 가능한 프로토타입 상의 프로토타입 기반 분포로 모델링한다.
• 요약 네트워크(예: Set Transformer, DeepSets)를 사용해 입력 집합을 프로토타입 비율 벡터 h_j로 인코딩하여 각 전역 프로토타입의 중요도를 나타낸다.
• 학습 목표를 경험적 분포 P_j와 프로토타입 기반 분포 Q_j 사이의 정규화된 최적 운반(OT) 거리 최소화로 설정한다.
• 작업에 특화된 손실(예: 분류의 경우 교차 엔트로피, 생성의 경우 GAN 손실)과 프로토타입 중심 OT 손실을 종합적으로 엔드 투 엔드 방식으로 최적화한다.
• 요약 네트워크가 더 강력하고 이식 가능한 표현을 학습하도록 유도하는 미분 가능하고 비감독 기반의 정규화 항을 도입한다.
• 메트릭 기반 소수의 샘플 분류와 암묵적 메타생성 모델링에 모두 프레임워크를 적용하며, 아키텍처 변경을 최소화한다.

실험 결과

연구 질문

• RQ1 프로토타입 기반의 분포 모델링 접근 방식이 집합 구조 입력에 대한 요약 네트워크의 표현 능력을 향상시킬 수 있는가?
• RQ2 경험적 분포와 프로토타입 기반 분포 사이의 최적 운반을 통합함으로써 소수의 샘플 학습에서 일반화 능력이 어떻게 향상되는가?
• RQ3 제안된 POT 프레임워크가 제한된 데이터로 암묵적 생성 모델링에서 성능을 얼마나 향상시키는가?
• RQ4 기존 메타학습 모델에 아키텍처의 대대적인 수정 없이도 플러그인 모듈로 적용 가능한가?
• RQ5 비감독 기반 OT 정규화가 감독 기반 베이스라인 대비 새로운 분포에서의 일반화 능력을 향상시키는가?

주요 결과

• POT 프레임워크는 소수의 샘플 이미지 분류에서 기존 요약 네트워크를 크게 향상시켜 Omniglot과 mini-ImageNet에서 최신 기술 수준의 성능을 달성한다.
• 회전된 MNIST 벤치마크에서 CGAN+POT는 A = -180°에서 FID를 213.30에서 159.51로 감소시켜 새로운 회전 각도에 대한 일반화 능력이 뛰어나다는 것을 입증한다.
• Flowers와 Animal Faces에서의 소수의 샘플 이미지 생성 작업에서 DAGAN+POT는 가장 낮은 FID 스코어를 기록하여 더 현실적이고 다양한 샘플 생성 능력을 보였다.
• POT 손실은 더 나은 제로샷 일반화를 가능하게 하였으며, DAGAN+POT는 새로운 Animal Faces 카테고리에서 FID 스코어를 DAGAN 대비 17.1% 향상시켰다.
• 여러 벤치마크와 작업 전반에서 일관된 성능 향상이 이루어져, 이는 POT가 플러그 앤 플레이 정규화 기법으로서의 효과를 입증한다.
• 구조화된 프로토타입 표현 덕분에, 낮은 샘플 수나 분포 이동 조건에서도 집합의 주요 통계적 특징을 효과적으로 포착할 수 있었다.