[논문 리뷰] Generative Adversarial Residual Pairwise Networks for One Shot Learning

Akshay Mehrotra, Ambedkar Dukkipati|arXiv (Cornell University)|2017. 03. 23.

Domain Adaptation and Few-Shot Learning참고 문헌 28인용 수 79

한 줄 요약

Skip Residual Pairwise Networks (SRPN)을 도입하여 원샷 학습을 위한 학습 가능한 유사도 매개변수를 학습하고, GAN을 사용한 Generative Regularizer (GR)를 도입하여 유사도 매칭을 정규화합니다. SRPN은 mini-Imagenet 원샷 작업에서 최첨단 성능을 달성했으며, SRPN은 베이스라인을 능가하고 GR은 데이터셋과 학습 안정성에 따라 가변적인 이점을 제공합니다.

ABSTRACT

Deep neural networks achieve unprecedented performance levels over many tasks and scale well with large quantities of data, but performance in the low-data regime and tasks like one shot learning still lags behind. While recent work suggests many hypotheses from better optimization to more complicated network structures, in this work we hypothesize that having a learnable and more expressive similarity objective is an essential missing component. Towards overcoming that, we propose a network design inspired by deep residual networks that allows the efficient computation of this more expressive pairwise similarity objective. Further, we argue that regularization is key in learning with small amounts of data, and propose an additional generator network based on the Generative Adversarial Networks where the discriminator is our residual pairwise network. This provides a strong regularizer by leveraging the generated data samples. The proposed model can generate plausible variations of exemplars over unseen classes and outperforms strong discriminative baselines for few shot classification tasks. Notably, our residual pairwise network design outperforms previous state-of-theart on the challenging mini-Imagenet dataset for one shot learning by getting over 55% accuracy for the 5-way classification task over unseen classes.

연구 동기 및 목표

• SRPN을 통한 Skip Residual Siamese Network로 학습 가능한 표현력 있는 유사도 측정치를 학습하여 원샷 학습을 개선한다.
• 보이지 않는 클래스에 조건을 두는 GAN 기반 생성 규제기(GR)를 사용하여 데이터가 적은 환경에서 정규화를 강화한다.
• 도전적인 원샷 벤치마크(mini-Imagenet)에서 최첨단 성능을 시연하고 Omniglot에서 정규화 혜택을 평가한다.

제안 방법

• Split 잔여 경로를 통해 두 이미지쌍을 처리하여 이진 교차 엔트로피 목표로 최적화된 단일 유사도 임베딩을 생성하는 Skip Residual Pairwise Network(SRPN)을 제안한다.
• 쌍 간 네트워크를 엔드투엔드로 학습 가능하게 만들어 거리 측정치를 특징 표현과 함께 학습되도록 한다.
• 두 샘플이 같은 클래스 분포에서 나온지 판단하는 판별기 D_phi와 조건부 이미지를 합리적으로 변형한 샘플을 생성해 유사도 작업을 규제하는 생성 규제기 GR(G_theta)를 도입한다.
• 생성기는 적대적 손실에 의해 안내되는 잡음 제거 자동인코더로 작동하고, 판별기는 같은 클래스 쌍과 다른 클래스 쌍을 구분하며 생성된 샘플을 위조로 식별하도록 학습된다.
• 표준 Few-shot 프로토콜 하에서 Omniglot과 mini-Imagenet에서 SRPN 및 GR을 평가하고, Adam 최적화 및 L2 규제( GR 제외).
• 가능한 경우 Pixel Distance, Nearest Neighbour, Matching Nets(FCE), Meta-Learner LSTM, Conv ARC with L2 Reg, Prototypical Networks 등의 베이스라인과 비교한다.

실험 결과

연구 질문

• RQ1 학습 가능하고 엔드투엔드로 학습된 유사도 측정치가 고정된 측정치보다 원샷 및 소수 샷 분류 성능을 향상시킬 수 있는가?
• RQ2 GAN 기반 생성 규제기를 도입하면 데이터가 적은 환경에서 보지 못한 클래스에 대한 일반화가 향상되는가?
• RQ3 SRPN 아키텍처가 수렴 속도, 매개변수 효율성 및 학습된 유사도의 대칭성 특성에 어떤 영향을 미치는가?
• RQ4 표준 1샷/5샷 설정에서 Omniglot 및 mini-Imagenet에서 SRPN와 GR의 실증적 이득은 무엇인가?

주요 결과

• SRPN은 잔여 시암 네트워크 기반 기준선보다 우수하며 5-way 원샷 작업에서 mini-Imagenet에서 최첨단 성능을 달성한다.
• Omniglot에서 GR은 Siam-I의 원샷 설정에서 L2 정규화에 비해 개선을 제공하여 생성 데이터에 의한 효과적인 정규화를 시사한다.
• SRPN은 기준 네트워크보다 빠르게 수렴하고 평균 가중치가 작아, 거리를 고정하기보다 적응시키는 것이 일반화에 더 도움이 됨을 시사한다.
• GR은 GAN 학습 불안정성으로 mini-Imagenet에서 다양한 결과를 보이지만 더 단순한 데이터(Omniglot)에서 L2보다 강력한 정규화기로서의 가능성을 보인다.
• 기저선 딥 모델(Wide ResNet)은 이미 mini-Imagenet에서 강력한 원샷 결과를 보여주며, SRPN은 이러한 모델에 대해 쌍 간 처리의 깊이 적합성으로 추가 개선을 이룬다.