[논문 리뷰] Image Deformation Meta-Networks for One-Shot Learning

Zitian Chen, Yanwei Fu외 4명|arXiv (Cornell University)|2019. 05. 28.

Domain Adaptation and Few-Shot Learning참고 문헌 34인용 수 24

한 줄 요약

이 논문은 이미지 변형 메타네트워크(IDeMe-Net)를 제안하며, 투입 이미지와 갤러리 이미지 패치를 융합하여 다양한 의미 있는 변형 이미지를 합성함으로써 소수의 샘플로 학습하는 데이터를 증강하는 메타학습 프레임워크이다. 변형 하위망과 임bedding 네트워크의 엔드 투 엔드 최적화를 통해 miniImageNet 및 ImageNet-1K 벤치마크에서 최신 기술 수준의 성능을 달성하며, 일회성 분류 정확도를 크게 향상시킨다.

ABSTRACT

Humans can robustly learn novel visual concepts even when images undergo various deformations and lose certain information. Mimicking the same behavior and synthesizing deformed instances of new concepts may help visual recognition systems perform better one-shot learning, i.e., learning concepts from one or few examples. Our key insight is that, while the deformed images may not be visually realistic, they still maintain critical semantic information and contribute significantly to formulating classifier decision boundaries. Inspired by the recent progress of meta-learning, we combine a meta-learner with an image deformation sub-network that produces additional training examples, and optimize both models in an end-to-end manner. The deformation sub-network learns to deform images by fusing a pair of images --- a probe image that keeps the visual content and a gallery image that diversifies the deformations. We demonstrate results on the widely used one-shot learning benchmarks (miniImageNet and ImageNet 1K Challenge datasets), which significantly outperform state-of-the-art approaches. Code is available at https://github.com/tankche1/IDeMe-Net.

연구 동기 및 목표

• 새로운 카테고리에 대해 단 하나 또는 소수의 레이블이 있는 경우에 발생하는 일회성 시각 인식 문제를 해결하기 위해.
• 시각적으로 현실적이지 않지만 의미를 유지하는 정보적인 변형 이미지를 생성함으로써 분류기의 강건성과 결정 경계 학습을 향상시키기 위해.
• 기본 카테고리에서의 비지도 갤러리 이미지를 활용하여 엔드 투 엔드 메타학습을 통해 다양하고 상호보완적인 훈련 예제를 합성하기 위해.
• 비록 외관적으로 자연스럽지 않지만 핵심적인 의미 정보를 포함하고 있어 소수의 샘플로의 일반화 능력을 향상시키는 변형 이미지가 중요하다는 것을 입증하기 위해.

제안 방법

• 변형 하위망은 투입 이미지 패치(시각적 내용을 유지)와 갤러리 이미지 패치(외관 변화를 도입)를 선형 융합하여 변형된 이미지를 생성한다.
• 네트워크는 투입 이미지와 갤러리 이미지를 각각 아홉 개의 공간 패치로 나누고, 미분 가능한 융합 메커니즘을 통해 패치별 블렌딩 가중치를 학습한다.
• 전체 시스템은 메타학습을 통해 엔드 투 엔드로 훈련된다: 메타학습자는 기본 카테고리에서 변형 및 임베딩 네트워크를 최적화하여 신규 클래스로 일반화한다.
• 임베딩 하위망은 이미지를 특징 표현으로 매핑하여 일회성 분류를 수행하는 반면, 변형 하위망은 분류기 성능 향상을 위해 증강 이미지를 생성하도록 훈련된다.
• 분류 손실과 다수의 소수 샘플 학습 작업에 대한 메타손실을 포함하는 공동 최적화 목표를 사용한다.
• 임베딩 네트워크의 백본으로 ResNet-18을 사용하여 miniImageNet 및 ImageNet-1K 챌린지 데이터셋에서 방법을 평가한다.

실험 결과

연구 질문

• RQ1 이미지 융합를 통해 변형된 이미지를 합성하는 것이 일회성 학습에서 소수의 샘플로의 일반화 능력을 향상시키는가?
• RQ2 비록 외관적으로 현실적이지 않지만 의미적으로 유의미한 변형 이미지는 더 나은 결정 경계 학습에 기여하는가?
• RQ3 메타학습 프레임워크가 유용한 증강을 생성하기 위해 변형 하위망을 효과적으로 최적화할 수 있는가?
• RQ4 합성된 변형 이미지의 수가 모델 성능과 일반화 능력에 어떤 영향을 미치는가?

주요 결과

• IDeMe-Net은 miniImageNet 벤치마크의 1-shot 설정에서 59.14%의 top-1 정확도와 5-shot 설정에서 74.63%의 정확도를 기록하여 이전의 최신 기술 수준 방법들을 모두 능가한다.
• ImageNet-1K 챌린지 데이터셋에서, 모델은 5-shot top-5 정확도에서 합성된 변형 이미지의 수가 증가함에 따라 성능이 향상되며, n_aug > 8일 때 포화 상태에 도달한다.
• t-SNE 시각화 결과, IDeMe-Net에서 유도된 변형 이미지는 클래스 다양성 다각형에 넓게 분포되어 있으며, 기준선 노이즈 증강 이미지와 달리 결정 경계 근처에 군집되어 있음을 보여준다.
• 이 방법은 오해의 소지가 있는 갤러리 이미지를 효과적으로 올바른 클래스 다양성 다각형으로 되돌리는 것으로, 노이즈나 모호한 입력에 대한 강건성을 시사한다.
• 제거 분석 결과, 변형 하위망이 성능 향상에 크게 기여하며, 실제 갤러리 이미지를 사용하는 'IDeMe-Net - Deform' 변종은 정렬 불일치로 인해 성능이 열등하다.
• 성능 향상 효과는 여러 소수 샘플 학습 벤치마크에서 일관되게 관찰되어 제안된 데이터 증강 전략의 일반화 능력을 검증한다.