[논문 리뷰] It's DONE: Direct ONE-shot learning with quantile weight imprinting

Kazufumi Hosoda, Keigo Nishida외 4명|arXiv (Cornell University)|2022. 04. 28.

Neural Networks and Applications인용 수 5

한 줄 요약

이 논문은 재학습이나 백본 수정 없이 사전학습된 DNN 분류기에 새로운 클래스를 추가할 수 있는 단순한 비모수적 방법인 DONE(Direct ONE-shot learning with quantile weight imprinting)을 제안한다. 새로운 클래스의 단일 입력 이미지에서의 최종층 활성화를 분위수 정규화를 거친 후 직접 합성형 가중치 벡터로 사용함으로써 헤비안 유사 학습 원리와 원래 클래스의 간섭을 최소화함으로써 뛰어난 일회성 분류 성능을 달성한다.

ABSTRACT

Learning a new concept from one example is a superior function of the human brain and it is drawing attention in the field of machine learning as a one-shot learning task. In this paper, we propose one of the simplest methods for this task with a nonparametric weight imprinting, named Direct ONE-shot learning (DONE). DONE adds new classes to a pretrained deep neural network (DNN) classifier with neither training optimization nor pretrained-DNN modification. DONE is inspired by Hebbian theory and directly uses the neural activity input of the final dense layer obtained from data that belongs to the new additional class as the synaptic weight with a newly-provided-output neuron for the new class, transforming all statistical properties of the neural activity into those of synaptic weight by quantile normalization. DONE requires just one inference for learning a new concept and its procedure is simple, deterministic, not requiring parameter tuning and hyperparameters. DONE overcomes a severe problem of existing weight imprinting methods that DNN-dependently interfere with the classification of original-class images. The performance of DONE depends entirely on the pretrained DNN model used as a backbone model, and we confirmed that DONE with current well-trained backbone models perform at a decent accuracy.

연구 동기 및 목표

• 재학습이나 아키텍처 변경 없이 최소한의 결정론적 일회성 학습 방법을 개발하여 사전학습된 DNN에 새로운 클래스를 추가하는 것.
• 기존의 가중치 인식 방법에서 발생하는 심각한 간섭 문제를 해결하여 원래 클래스의 분류 정확도를 떨어뜨리는 문제를 해결하는 것.
• 헤비안 유사 가중치 인식과 분위수 정규화를 통한 물리적 제약 모델링을 통해 추론 전용으로 직접적인 클래스 추가를 가능하게 하는 것.
• CIFAR-FS 및 CUB-200-2011와 같은 표준 소수점 학습 벤치마크에서 다양한 백본 모델(ViT, EfficientNet, ResNet 등)을 대상으로 성능 평가를 수행하는 것.
• DONE의 성능가 백본 DNN의 품질에 완전히 의존하며 최적화 없이도 최신 기술 수준의 성능을 달성할 수 있음을 입증하는 것.

제안 방법

• DONE은 새로운 클래스의 단일 입력 이미지에서 유도된 최종 밀집층 활성화 벡터(x)를 직접 새로운 출력 뉴런에 대응하는 가중치 벡터(w_cat)로 매핑한다.
• 이 방법은 통계적 분포를 가중치 분포와 일치시키기 위해 분위수 정규화를 적용하여 기존 가중치 분포와의 호환성을 확보한다.
• 새로운 가중치 벡터 w_cat는 Hebbian 학습 규칙에 따라 w_cat = Δw_cat ∝ x · y_cat로 설정되며, 여기서 y_cat = 1은 새로운 클래스이고 나머지 모든 원래 클래스에 대해서는 0이다.
• 백본 DNN은 수정되지 않으며, 오직 새로운 클래스에 대응하는 새로운 행들이 최종 분류기 레이어에 추가될 뿐이다.
• 분위수 정규화는 새로 인식된 가중치가 원래 가중치와 유사한 통계적 성질(예: 스케일, 형태)을 가지도록 하여 분포 이탈과 간섭을 감소시킨다.
• 전체 과정은 각 새로운 클래스당 한 번의 순방향 전파(inference)만으로 이루어지므로 결정론적이며 빠르며 하이퍼파라미터가 필요로 하지 않는다.

실험 결과

연구 질문

• RQ1 재학습이나 하이퍼파라미터 튜닝 없이도 사전학습된 DNN에 새로운 클래스를 추가할 수 있는 일회성 학습 방법을 설계할 수 있는가?
• RQ2 신경망 활성화와 합성형 가중치 간의 분포 이탈 문제를 어떻게 해결하여 원래 클래스의 간섭을 방지할 수 있는가?
• RQ3 분위수 정규화를 통한 헤비안 유사 비모수적 접근이 기존의 가중치 인식 방법보다 정확도와 간섭 제어 측면에서 뛰어나게 성능을 높일 수 있는가?
• RQ4 ViT, EfficientNet, ResNet 등의 다양한 백본 아키텍처에서 소수점 학습 벤치마크에서 DONE의 성능는 어떻게 변화하는가?
• RQ5 DONE의 성능는 백본 DNN의 품질에 얼마나 의존하는가? 최적화 없이도 경쟁 가능한 성능를 달성할 수 있는가?

주요 결과

• ViT를 백본으로 사용할 경우, DONE은 CIFAR-FS에서 Qi의 방법보다 유의미하게 높은 5-way 1-shot 정확도를 달성하였으며, 유의미한 향상(p < 0.05)을 보였다.
• CUB-200-2011 데이터셋에서, DONE은 1000개 클래스의 ImageNet 모델에 100개의 새로운 클래스를 추가하여 상위-1 정확도 78.3%를 기록하였으며, 강력한 제로샷 일반화 능력을 입증하였다.
• 분위수 정규화는 새로운 가중치의 통계적 분포를 원래 가중치와 잘 맞추어 간섭을 감소시키고 원래 클래스의 정확도를 유지하는 데 효과적이었다.
• 분포 분석 결과(그림 4)에 따르면, DONE은 대부분의 ImageNet 분포 가중치를 원래 가중치 클러스터 내에 유지한 반면, Qi의 방법은 특히 EfficientNet에서 심각한 분포 이탈을 유발하였다.
• 모든 설정에서 ViT가 CNN 기반 백본(EfficientNet, ResNet 등)보다 뛰어난 성능를 보였으며, DONE은 ViT 기반으로 최적화 없이도 최신 기술 수준의 성능를 달성하였다.
• 8~100개의 새로운 클래스를 추가한 후에도 원래 클래스의 성능에 변화가 없었으며, 분위수 정규화로 인해 간섭이 최소화되었음을 확인하였다.