[논문 리뷰] Few-shot learning of neural networks from scratch by pseudo example optimization

Akisato Kimura, Zoubin Ghahramani외 3명|arXiv (Cornell University)|2018. 02. 08.

Advanced machining processes and optimization인용 수 32

한 줄 요약

이 논문은 지식 정복을 사용한 가우시안 프로세스(GP) 기반 참조 모델과 최적화된 가짜 학습 예제를 활용해 신경망을 처음부터 훈련하는 새로운 소수의 예제 학습 방법을 제안한다. 타겟 네트워크와 일반화를 향상시키기 위해 가짜 예제를 함께 훈련하고 업데이트함으로써, 이 방법은 소수의 레이블이 있는 경우 최신 기술 성능을 달성하며, 일반적인 훈련과 표준 지식 정복보다도 뛰어난 성능을 보인다.

ABSTRACT

In this paper, we propose a simple but effective method for training neural networks with a limited amount of training data. Our approach inherits the idea of knowledge distillation that transfers knowledge from a deep or wide reference model to a shallow or narrow target model. The proposed method employs this idea to mimic predictions of reference estimators that are more robust against overfitting than the network we want to train. Different from almost all the previous work for knowledge distillation that requires a large amount of labeled training data, the proposed method requires only a small amount of training data. Instead, we introduce pseudo training examples that are optimized as a part of model parameters. Experimental results for several benchmark datasets demonstrate that the proposed method outperformed all the other baselines, such as naive training of the target model and standard knowledge distillation.

연구 동기 및 목표

• 과도한 오버피팅이 주요 문제인 소수의 레이블이 있는 예제로 깊은 신경망을 훈련하는 데 도전한다.
• 이전의 지식 정복 방법들이 이전에 훈련된 모델이나 대규모 데이터를 필요로 하는 한계를 극복한다.
• 최소한의 실제 데이터를 사용하여 강력한 參조 추정기(GP 등)에서 타겟 신경망으로 효과적인 지식 전달을 가능하게 하는 프레임워크를 개발한다.
• 저데이터 환경에서 모델 일반화를 향상시키기 위해 가짜 학습 예제를 최적화하는 새로운 전략을 도입한다.
• 모방 손실, 가짜 예제 최적화, 충실도 가중치를 조합하여 불확실한 가짜 예제를 걸러내어 소수의 예제 학습에서 성능을 향상시킨다.

제안 방법

• 소수의 실제 레이블이 있는 예제로 훈련된 가우시안 프로세스(GP) 분류기를 參조 모델로 사용하여 안정적이고 부드러운 예측을 제공한다.
• 하드 레이블과 소프트 레이블을 모두 포함한 지식 정복 손실을 통해 타겟 신경망이 GP의 예측을 모방하도록 훈련한다.
• 학습 과정에서 최적화되는 가짜 학습 예제(유도점)를 도입하여, 훈련 손실을 높이고 예측이 어려운 영역에 집중하도록 한다.
• 특징 공간에서 높은 불확실성 또는 잘못 분류된 영역으로 향해 가짜 예제를 기울이는 기울기 업데이트를 사용해 가짜 예제를 최적화한다.
• 참조 모델의 예측에서 높은 불확실성을 가진 가짜 예제를 억제하기 위해 충실도 가중치를 적용하여 훈련 안정성을 향상시킨다.
• Adam과 Nadam 최적화기를 사용해 실제 데이터와 가짜 데이터를 함께 최적화하는 방식으로 타겟 네트워크와 가짜 예제를 종합적으로 훈련한다.

실험 결과

연구 질문

• RQ1 소수의 레이블이 있는 예제로만 소수의 예제 학습에 효과적으로 지식 정복을 적용할 수 있는가? 이는 사전 훈련된 모델이나 대규모 데이터에 의존하지 않는다.
• RQ2 소수의 예제 신경망 훈련에서 일반화를 향상시키기 위해 가짜 학습 예제를 어떻게 최적화할 수 있는가?
• RQ3 GP 기반 참조 모델과 반복적인 가짜 예제 개선을 조합하면 표준 지식 정복이나 일반적인 훈련보다 더 높은 성능을 낼 수 있는가?
• RQ4 충실도 가중치는 훈련 과정에서 가짜 예제의 품질과 신뢰성에 어떤 영향을 미치는가?
• RQ5 소수의 실제 예제와 최적화된 가짜 예제만으로 신경망을 처음부터 성공적으로 훈련시킬 수 있으며, 최신 기술 성능을 달성할 수 있는가?

주요 결과

• 제안된 방법은 MNIST와 CIFAR-FS에서 타겟 네트워크의 일반적인 훈련보다 뛰어나 1개 클래스당 200개의 레이블이 있는 경우 86.7%의 정확도를 달성했다.
• 가짜 예제 최적화를 통합함으로써 기준 모의 손실 전용 방법 대비 성능이 최대 2.5% 향상되었으며, 특히 MNIST에서 100개의 예제로 79.5% vs. 78.1%로 두드러진 성능 향상을 보였다.
• 충실도 가중치는 소규모이지만 일관된 향상을 제공하여 일부 설정에서 정확도를 0.2–0.5% 향상시켰으며, 특히 MNIST에서 두드러졌다.
• 약한 參조 모델(GP)이라도 이 방법은 GP 자체의 성능을 초월했다 (예: 200개의 예제로 MNIST에서 GP는 71.4%였고, Imitation, optimize, fidelity는 72.5%였다).
• 시험한 모든 소수의 예제 벤치마크에서 최신 기술 성능을 달성하여, 소수의 레이블 데이터에도 불구하고 뛰어난 강건성과 일반화 능력을 입증했다.
• 제거 실험을 통해 가짜 예제 최적화가 가장 영향력 있는 요소임을 확인했으며, 이를 포함하지 않은 방법보다 뚜렷이 뛰어난 성능을 보였다.