[논문 리뷰] Learning with Imprinted Weights

H. Jerry Qi, Matthew A. Brown외 1명|arXiv (Cornell University)|2017. 12. 19.

Domain Adaptation and Few-Shot Learning참고 문헌 12인용 수 10

한 줄 요약

이 논문은 소수의 훈련 예제의 스케일된 임베딩을 사용하여 컨볼루션 네트워크의 최종 레이어 가중치를 직접 설정하는 가중치 인코딩 기법을 소개한다. 이는 새로운 카테고리의 빠른 분류를 가능하게 한다. 프록시 기반 방법과는 달리, 각 클래스당 하나의 학습된 가중치 벡터를 사용하여, 훈련 인스턴스의 최근접 이웃 거리에 의존하는 기존의 임베딩 기반 방법보다 더 나은 일반화 성능을 달성한다.

ABSTRACT

Human vision is able to immediately recognize novel visual categories after seeing just one or a few training examples. We describe how to add a similar capability to ConvNet classifiers by directly setting the final layer weights from novel training examples during low-shot learning. We call this process weight imprinting as it directly sets weights for a new category based on an appropriately scaled copy of the embedding layer activations for that training example. The imprinting process provides a valuable complement to training with stochastic gradient descent, as it provides immediate good classification performance and an initialization for any further fine-tuning in the future. We show how this imprinting process is related to proxy-based embeddings. However, it differs in that only a single imprinted weight vector is learned for each novel category, rather than relying on a nearest-neighbor distance to training instances as typically used with embedding methods. Our experiments show that using averaging of imprinted weights provides better generalization than using nearest-neighbor instance embeddings.

연구 동기 및 목표

• 단 하나 또는 몇 개의 훈련 예제를 보고 나서도 새로운 시각적 카테고리를 신속하게 인식할 수 있도록 컨볼루션 네트워크 분류기의 성능을 향상시키는 것.
• 소수의 학습에서 경사 하강법의 한계를 해결하기 위해 새로운 클래스에 대해 즉각적이고 고성능의 초기화를 제공하는 것.
• 훈련 인스턴스에 대한 최근접 이웃 거리에 의존하는 기존의 임베딩 기반 방법의 일반화 성능을 향상시키는 것.
• 새로운 클래스의 가중치를 초기화하기 위한 직접적이고 반복하지 않는 방법을 탐색하는 것.

제안 방법

• 단일 훈련 예제의 임베딩 레이어 활성화값의 스케일된 복제본을 사용하여 새로운 클래스의 최종 완전 연결 레이어 가중치를 직접 설정한다.
• 인코딩된 가중치 벡터는 입력 예제의 활성화를 학습된 변환을 통해 투영함으로써 유도되며, 이는 새로운 클래스의 프로토타입을 효과적으로 생성한다.
• 각 새로운 카테고리에 대해 단일 고정된 가중치 벡터를 학습함으로써 최근접 이웃 비교에 의존하지 않도록 한다.
• 동일한 클래스의 서로 다른 예제들에 대해 인코딩된 가중치를 평균화하면 일반화 성능이 향상된다.
• 이 방법은 프록시 기반 임베딩과 개념적으로 유사하지만, 각 클래스당 하나의 벡터를 사용하는 점에서 거리 기반 검색 방식과 다릅니다.

실험 결과

연구 질문

• RQ1 인코딩된 임베딩을 통한 직접적인 가중치 초기화가 표준 미세조정 대비 뛰어난 소수의 학습 분류 성능을 달성할 수 있는가?
• RQ2 각 클래스당 단일 프로토타입 벡터를 사용하는 것이 최근접 이웃 기반 인스턴스 임베딩과 비교해 일반화 성능에서 어떻게 다를까?
• RQ3 동일한 클래스의 여러 예제들에 대해 인코딩된 가중치를 평균화하면 단일 예제를 사용할 때보다 성능 향상이 이루어지는가?
• RQ4 소수의 학습 시나리오에서 가중치 인코딩 기법은 프록시 기반 임베딩 방법과 어떻게 비교되는가?

주요 결과

• 가중치 인코딩은 단 하나 또는 몇 개의 예제만을 보고도 새로운 카테고리에 대해 즉각적이고 고성능의 분류 성능을 제공한다.
• 동일한 클래스의 여러 예제들에 대해 인코딩된 가중치를 평균화하면 단일 인코딩 벡터를 사용하는 것보다 더 나은 일반화 성능을 달성한다.
• 훈련 인스턴스에 대한 거리 비교에 의존하지 않기 때문에, 이 방법은 최근접 이웃 기반 인스턴스 임베딩 접근 방식보다 성능이 뛰어나다.
• 인코딩 과정은 향후 미세조정을 위한 효과적인 초기화 역할을 하며, 수렴 속도와 최종 정확도를 향상시킨다.