[논문 리뷰] Memory Matching Networks for One-Shot Image Recognition

Qi Cai, Yingwei Pan외 3명|arXiv (Cornell University)|2018. 04. 23.

Advanced Neural Network Applications참고 문헌 32인용 수 36

한 줄 요약

이 논문은 메모리 모듈과 맥락 학습기로 컨볼루션 네트워크(CNN)를 보강하는 새로운 딥러닝 아키텍처인 메모리 매칭 네트워크(MM-Net)를 제안한다. 이는 실시간으로 네트워크 파라미터를 동적으로 예측함으로써 일회성 이미지 인식을 향상시킨다. 각 클래스당 하나 또는 몇 개의 예시로 구성된 지원 세트를 사용해 훈련하고, 양방향 LSTM(bi-LSTM)을 활용해 적응형 CNN 가중치를 생성함으로써, MM-Net은 오미니글롯에서 99.28%의 정확도와 미니-이미지넷에서 53.37%의 정확도를 달성하여 최신 기준(SOTA) 성능을 확보한다.

ABSTRACT

In this paper, we introduce the new ideas of augmenting Convolutional Neural Networks (CNNs) with Memory and learning to learn the network parameters for the unlabelled images on the fly in one-shot learning. Specifically, we present Memory Matching Networks (MM-Net) --- a novel deep architecture that explores the training procedure, following the philosophy that training and test conditions must match. Technically, MM-Net writes the features of a set of labelled images (support set) into memory and reads from memory when performing inference to holistically leverage the knowledge in the set. Meanwhile, a Contextual Learner employs the memory slots in a sequential manner to predict the parameters of CNNs for unlabelled images. The whole architecture is trained by once showing only a few examples per class and switching the learning from minibatch to minibatch, which is tailored for one-shot learning when presented with a few examples of new categories at test time. Unlike the conventional one-shot learning approaches, our MM-Net could output one unified model irrespective of the number of shots and categories. Extensive experiments are conducted on two public datasets, i.e., Omniglot and \emph{mini}ImageNet, and superior results are reported when compared to state-of-the-art approaches. More remarkably, our MM-Net improves one-shot accuracy on Omniglot from 98.95% to 99.28% and from 49.21% to 53.37% on \emph{mini}ImageNet.

연구 동기 및 목표

• 일반적인 미니배치 훈련 방식이 소수의 예시로 구성된 테스트 설정과 다름을 보완하기 위해, 훈련과 추론 간의 괴리를 해결한다.
• 새로운 카테고리에 대해 단일 또는 소수의 예시만 존재할 경우, 미세조정과 전이학습의 한계를 극복한다.
• 재훈련 없이도 다양한 수의 샷과 클래스에 일반화 가능한 통합 모델을 개발한다.
• 순환 메모리 기반의 학습기로 CNN의 동적이고 맥락 인식 가능한 파라미터 예측을 가능하게 한다.
• 모든 지원 세트 카테고리의 지식을 통합적으로 활용해 특징 표현과 유사도 매칭을 향상시킨다.

제안 방법

• 지원 세트의 레이블이 부여된 이미지에서 특징를 기록하고 검색하는 메모리 모듈을 CNN에 통합한다. 이는 쓰기 및 읽기 제어기를 사용한다.
• 양방향 LSTM(bi-LSTM)을 맥락 학습기로 사용하여 메모리 슬롯을 순차적으로 처리하고, 레이블이 없는 이미지의 컨볼루션 계층 파라미터를 예측한다.
• 각 배치에서 지원 세트에 조건부로 레이블이 없는 이미지의 분류 오차를 최소화함으로써, 전체 네트워크를 엔드 투 엔드로 훈련시킨다.
• 다양한 테스트 시나리오에 일반화하기 위해 혼합된 방식과 샷 설정(예: 2–5 방식, 1–5 샷)을 포함한 훈련 배치를 구성한다.
• 레이블이 없는 이미지 임베딩과 지원 세트 임베딩 간의 내적을 통해 유사도 점수를 계산하고, 예측 레이블을 할당한다.
• 맥락 학습기를 사용해 실시간으로 네트워크 파라미터를 계산함으로써, 재훈련 없이도 새로운 카테고리에서 추론이 가능해지며, 미세조정이 필요 없어진다.

실험 결과

연구 질문

• RQ1 재훈련 없이도 다양한 수의 샷과 클래스에 일반화할 수 있는 통합 딥 네트워크를 훈련시킬 수 있는가?
• RQ2 훈련 절차를 추론 조건과 일치시켜 소수의 예시 설정에서의 일반화를 향상시킬 수 있는가?
• RQ3 순차적 맥락 학습기를 갖춘 메모리 보강 아키텍처가 특징 표현과 유사도 매칭을 향상시킬 수 있는가?
• RQ4 다양한 샷과 방식을 혼합한 훈련 전략이 모델의 일반화 능력과 성능에 어떤 영향을 미치는가?
• RQ5 메모리 모듈과 파라미터 예측 메커니즘이 이전 방법에 비해 분류 성능 향상에 기여하는 방식은 무엇인가?

주요 결과

• MM-Net은 오미니글롯 데이터셋에서 99.28%의 상위-1 정확도를 달성하여 이전 최신 기준인 98.95%보다 뚜렷한 향상을 보였다.
• 미니-이미지넷 데이터셋에서 5-way 1-shot 평가 조건 하에서 MM-Net은 소수의 예시 정확도를 53.37%로 향상시켰으며, 이는 이전 최신 기준인 49.21%를 초월했다.
• 혼합 훈련 전략(Mixed C-way k-shot)은 모든 고정된 샷 또는 방식 전략보다 뛰어난 성능을 보이며, 다양한 테스트 시나리오에 대한 일반화 능력이 뛰어나다는 것을 입증했다.
• 맥락 학습기의 bi-LSTM 은닉 상태 크기가 성능에 미치는 영향이 미미하며, 128에서 1024 유닛 사이에서 정확도 차이가 0.013 이하로 나타나 하이퍼파rameter 선택에 대해 뛰어난 내구성을 보였다.
• t-SNE 시각화 결과, MM-Net은 매칭 네트워크(MN)에 비해 더 명확한 클래스 군집을 형성하는 더 의미적으로 분리된 이미지 표현을 학습하는 것으로 나타났다.
• 유사도 행렬 시각화 결과, MM-Net은 MN보다 더 높은 내부 클래스 유사도와 낮은 이질 클래스 유사도를 보이며, 더 분류 성능이 뛰어난 특징 학습을 함으로써 더 구분력 있는 특징 표현을 학습함을 확인했다.