[논문 리뷰] Low-Shot Learning from Imaginary Data

Yu-Xiong Wang, Ross Girshick외 2명|arXiv (Cornell University)|2018. 01. 16.

Domain Adaptation and Few-Shot Learning참고 문헌 34인용 수 70

한 줄 요약

학습된 할루시네이터로 강화된 메타러닝 프레임워크가 소수-shot 분류를 개선하기 위해 유용한 합성 예제를 생성; ImageNet 저-shot 벤치마크에서 단일 예제 신규 클래스의 성능이 최대 약 6퍼센트 포인트까지 향상되는 최신 성능을 달성한다.

ABSTRACT

Humans can quickly learn new visual concepts, perhaps because they can easily visualize or imagine what novel objects look like from different views. Incorporating this ability to hallucinate novel instances of new concepts might help machine vision systems perform better low-shot learning, i.e., learning concepts from few examples. We present a novel approach to low-shot learning that uses this idea. Our approach builds on recent progress in meta-learning ("learning to learn") by combining a meta-learner with a "hallucinator" that produces additional training examples, and optimizing both models jointly. Our hallucinator can be incorporated into a variety of meta-learners and provides significant gains: up to a 6 point boost in classification accuracy when only a single training example is available, yielding state-of-the-art performance on the challenging ImageNet low-shot classification benchmark.

연구 동기 및 목표

• 사람의 상상에 근접한 창의력을 활용해 유용한 학습 변형을 생성함으로써 저-shot 학습의 동기 부여 및 문제 해결.
• 정보적 합성 예제를 생산하기 위해 분류기와 할루시네이터를 공동으로 학습하는 통합된 메타러닝 프레임워크를 제안한다.
• 학습된 환각이 여러 메타러닝 아키텍처에서 신규 클래스 정확도를 향상시킴을 입증한다.
• 실제적인 ImageNet 기반 저-shot 벤치마크에서 평가하여 최첨단 성능을 확립한다.

제안 방법

• 시드 실례 x와 잡음 벡터 z를 매핑해 환각 예제 x' = G(x, z; w_G)를 생성하는 할루시네이터 G를 정의한다.
• 미분 가능 학습 목표를 사용한 end-to-end 최적화를 통해 할루시네이터 G와 메타러너 h를 함께 학습한다.
• 메타 테스트 중에는 학습 세트를 환각 예제로 보강하고 보강된 세트로 h를 학습한다; 메타 학습 중에는 h와 G를 통해 역전파하여 w_G와 메타러너 파라미터를 최적화한다.
• 할루시네이션이 반드시 현실적이거나 완벽하게 다양할 필요는 없으며, 대신 분류기에 정보성이 있는 샘플을 생성하도록 메타러닝을 통해 학습되어야 함을 보여준다.
• 프로토타입 네트워크, 매칭 네트워크, 제안된 프로토타입 매칭 네트워크에 적용하여 메타러닝 방법 전반에 걸친 일반성을 보여준다.
• 할루시네이터 초기화 및 아키텍처(ReLU를 갖는 3층 Multilayer Perceptron; 블록-대각 아이덴티티 초기화)와 학습에 PN, MN, PMN과 같은 미분 가능 분류기를 사용한다를 기술한다.

실험 결과

연구 질문

• RQ1 학습된 할루시네이터가 메타러닝과 함께 사용할 때 저-shot 분류 성능을 의미 있게 향상시키는 합성 예제를 생성할 수 있는가?
• RQ2 학습된 할루시네이션의 개선이 (예: PN, MN, PMN과 같은) 서로 다른 메타러닝 아키텍처에 걸쳐 견고한가?
• RQ3 할루시네이터와 분류기의 공동 최적화가 수작업이나 노이즈 기반 증강을 사용하는 baselines보다 성능이 우수한가?
• RQ4 할루시네이션이 joint base+novel 평가 설정에서 신규 클래스 대비 기본 클래스의 성능에 어떤 영향을 미치며, 신규 클래스에 대한 사전(prior)이 결과에 어떠한 영향을 주는가?

주요 결과

• 메타러닝과 함께 엔드-투-엔드로 학습된 할루시네이션은 신규 클래스 정확도에서 상당한 이익을 가져오며, 하나의 예제만 사용할 때 프로토타입 네트워크의 경우 최대 약 6퍼센트 포인트까지 상승시킨다.
• G는 PN, MN, PMN 등 여러 메타러닝 아키텍처에서 개선을 생산하며, 특히 신규 클래스에서 두드러지지만 더 많은 신규 예제가 제공될수록 이득은 줄어들고 특정 n 값까지는 여전히 유의하다.
• 학습된 할루시네이터는 보정 오차에 대한 로버스트성을 높이고 base+novel의 합동 평가에서 성능을 향상시키며, 특히 신규 클래스에 대한 사전이 완전히 조정되지 않았을 때 두드러진다.
• 이전 휴리스틱 기반 할루시네이션과 비교할 때 학습된 접근 방법이 상당히 우수하며 ImageNet low-shot 벤치마크에서 최첨단 성능을 확립한다.
• 결과 제거 연구에서 단순한 jittering이나 미학습 Gaussian 할루시네이터는 학습된, meta-trained 할루시네이터에 비해 성능이 떨어지며, 할루시네이션을 과제 특성에 맞춰 학습해야 함을 강조한다.