[논문 리뷰] Few-Shot Learning via Saliency-guided Hallucination of Samples

Hongguang Zhang, Jing Zhang외 1명|arXiv (Cornell University)|2019. 04. 06.

Domain Adaptation and Few-Shot Learning참고 문헌 39인용 수 21

한 줄 요약

이 논문은 소수의 샘플로 학습하는 문제를 해결하기 위해 특징 공간에서 전경-배경 혼합을 유도하는 시각적 중요도 맵을 사용해 합성 훈련 샘플을 유추하는 새로운 소수의 샘플 학습 프레임워크인 SalNet을 제안한다. 사전 훈련된 시각적 중요도 네트워크와 실존 표현 정규화(TrR)를 적용한 이중 스트림 혼합 네트워크를 활용함으로써, 224×224 입력을 사용할 경우 miniImageNet에서 5-way 1-shot 설정에서 78.34%의 정확도를 기록하여 최신 기술 수준을 초월한다.

ABSTRACT

Learning new concepts from a few of samples is a standard challenge in computer vision. The main directions to improve the learning ability of few-shot training models include (i) a robust similarity learning and (ii) generating or hallucinating additional data from the limited existing samples. In this paper, we follow the latter direction and present a novel data hallucination model. Currently, most datapoint generators contain a specialized network (i.e., GAN) tasked with hallucinating new datapoints, thus requiring large numbers of annotated data for their training in the first place. In this paper, we propose a novel less-costly hallucination method for few-shot learning which utilizes saliency maps. To this end, we employ a saliency network to obtain the foregrounds and backgrounds of available image samples and feed the resulting maps into a two-stream network to hallucinate datapoints directly in the feature space from viable foreground-background combinations. To the best of our knowledge, we are the first to leverage saliency maps for such a task and we demonstrate their usefulness in hallucinating additional datapoints for few-shot learning. Our proposed network achieves the state of the art on publicly available datasets.

연구 동기 및 목표

• 단 한 개 또는 몇 개의 레이블이 부여된 예시에서 일반화할 수 있도록 하는 소수의 샘플 학습 문제에 대응하기 위해.
• 대규모 레이블이 부여된 데이터를 요구하지 않고, 전용 GAN을 훈련시키는 대신 시각적 중요도 맵을 사용하여 데이터 증강에 의존도를 줄이기 위해.
• 특징 공간에서 전경-배경 혼합을 통해 다양하고 현실적인 합성 샘플을 생성함으로써 일반화 성능을 향상시키기 위해.
• 유추된 특징가 실존하는 타당한 조합에 가까이 유지되도록 보장하는 정규화 전략을 도입하기 위해.

제안 방법

• 사전 훈련된 시각적 중요도 네트워크는 입력 이미지의 전경 및 배경 영역을 분할하여 이미지 구성에 대한 정밀한 제어를 가능하게 한다.
• 이중 스트림 네트워크는 잠재 공간에서 전경 및 배경 특징을 혼합하여 새로운 타당한 이미지 표현을 생성한다.
• 이阶 통계는 공간적 특징을 고정된 크기의 기술자로 요약하여 강건한 유사도 학습을 가능하게 한다.
• 실존 표현 정규화(TrR)는 유추된 특징가 실존하는 전경-배경 쌍과 유사하도록 제약을 주는 감독 네트워크를 사용한다.
• 두 가지 혼합 전략이 제안된다: 동일 클래스 내 혼합(내부 클래스 혼합)과 다른 클래스의 가장 가까운 이웃 배경을 사용하는 이질 클래스 혼합(외부 클래스 혼합).
• 쿼리 및 서포트 특징 간의 유사도는 관계 네트워크를 통해 학습되어 소수의 샘플 분류가 가능해진다.

실험 결과

연구 질문

• RQ1 대규모 레이블이 부여된 데이터가 필요 없이, 시각적 중요도 맵을 효과적으로 활용하여 현실적이고 다양한 훈련 샘플을 생성할 수 있는가?
• RQ2 전통적인 이미지 공간 데이터 증강 기법과 비교해 시각적 중요도 유도 특징 공간 혼합 기법은 소수의 샘플 분류에서 어떤 성능을 보이는가?
• RQ3 특히 내부 클래스 혼합과 외부 클래스 혼합 간의 다른 혼합 전략이 모델의 일반화에 어떤 영향을 미치는가?
• RQ4 실존 표현 정규화(TrR)는 유추된 특징의 현실성과 품질 향상에 얼마나 효과적인가?
• RQ5 시각적 중요도 맵 생성기의 선택이 최종 소수의 샘플 학습 성능에 상당한 영향을 미치는가?

주요 결과

• SalNet은 224×224 입력 이미지를 사용할 경우 miniImageNet 데이터셋에서 5-way 1-shot 정확도 78.34%를 기록하여 이전 최신 기술 수준을 초월한다.
• 내부 클래스 혼합 전략이 가장 높은 성능을 보이며, 77.95%의 정확도를 기록하여 유추 과정에서 클래스 일관성을 유지할 경우 일반화 성능 향상이 가능하다는 것을 시사한다.
• 더 큰 입력 이미지(224×224)를 사용할 경우 표준 84×84 해상도 대비 성능 향상이 두드러지며, 1-shot 정확도에서 기준 모델 대비 5.1%p의 절대적 향상이 있었다.
• 실존 표현 정규화(TrR)는 다양한 설정에서 일관된 성능 향상을 보이며, 유추 품질 향상에 크게 기여한다.
• 제거 실험 결과, 시각적 중요도 분할과 데이터 유추가 모두 핵심 요소임을 확인하였으며, 이들을 비활성화할 경우 1-shot 작업에서 정확도가 10% 이상 감소한다.
• 다양한 시각적 중요도 맵 생성기의 영향을 고려할 때, 메서드는 다양한 사전 훈련된 모델을 사용하더라도 성능 저하가 최소한이었다.