[논문 리뷰] Imitation networks: Few-shot learning of neural networks from scratch

Akisato Kimura, Zoubin Ghahramani외 3명|arXiv (Cornell University)|2018. 02. 08.

Domain Adaptation and Few-Shot Learning참고 문헌 39인용 수 13

한 줄 요약

이 논문은 낮은 수의 레이블된 데이터만을 사용하여 신경망을 다시 학습시키는 '모방 네트워크'를 소개한다. 이 방법은 강력한 기준 추정기의 예측을 모방함으로써, 표준 지식 전이와 단순 학습보다 뛰어난 성능을 달성한다. 특히, 최소한의 레이블된 데이터로도 우수한 성능을 내기 위해, 가짜 학습 예제를 모델 파라미터로 최적화한다.

ABSTRACT

In this paper, we propose imitation networks, a simple but effective method for training neural networks with a limited amount of training data. Our approach inherits the idea of knowledge distillation that transfers knowledge from a deep or wide reference model to a shallow or narrow target model. The proposed method employs this idea to mimic predictions of reference estimators that are much more robust against overfitting than the network we want to train. Different from almost all the previous work for knowledge distillation that requires a large amount of labeled training data, the proposed method requires only a small amount of training data. Instead, we introduce pseudo training examples that are optimized as a part of model parameters. Experimental results for several benchmark datasets demonstrate that the proposed method outperformed all the other baselines, such as naive training of the target model and standard knowledge distillation.

연구 동기 및 목표

• 제한된 레이블된 데이터로 깊은 신경망을 학습시키는 데 있어 과적합이 주요 문제인 도전 과제를 해결하기 위해.
• 큰 레이블된 데이터셋이 필요 없이, 강력한 기준 모델에서 목표 모델로 지식을 효과적으로 전이할 수 있는 방법을 개발하기 위해.
• 실제 예제와 학습된 가짜 예제를 사용하여 얕거나 얇은 목표 네트워크를 다시 학습시키기 위해.
• 기준 추정기의 예측 일관성을 활용하여 저데이터 환경에서 일반화 성능을 향상시키기 위해.

제안 방법

• 이 방법은 지식 전이 원리를 사용하지만, 최소한의 레이블된 데이터로 소수의 예제 설정에서 적용한다.
• 학습 중 모델 파라미터의 일부로 최적화되는 가짜 학습 예제를 도입한다.
• 목표 네트워크는 더 강력한 기준 추정기의 예측을 모방하도록 학습되며, 이 기준 추정기는 더 큰, 잠재적으로 관련 없는 데이터셋으로 사전 학습된다.
• 가짜 예제는 미분 가능하며, backpropagation를 통해 업데이트되어 목표 모델의 일반화 성능을 향상시킨다.
• 학습 목표는 실제 및 가짜 예제에서 목표 모델의 출력과 기준 추정기의 출력 간의 교차 엔트로피 손실을 최소화한다.
• 이 방법은 오직 소수의 레이블된 예제와 최적화된 가짜 데이터만을 사용하여 목표 네트워크의 엔드 투 엔드 학습을 가능하게 한다.

실험 결과

연구 질문

• RQ1 최소한의 레이블된 데이터로 소수의 예제 설정에서 지식 전이를 효과적으로 적용할 수 있는가?
• RQ2 모델 파라미터로 최적화된 가짜 학습 예제를 사용하면 저데이터 환경에서 일반화 성능이 향상되는가?
• RQ3 모방 네트워크는 표준 지식 전이 및 단순 학습 방법에 비해 정확도와 강건성 측면에서 어떻게 비교되는가?
• RQ4 소수의 실제 예제와 가짜 예제만을 사용하여 목표 네트워크를 다시 학습시켜 높은 성능을 달성할 수 있는가?

주요 결과

• 모방 네트워크는 테스트한 모든 벤치마크 데이터셋에서 단순 학습보다 뛰어난 성능을 보였다.
• 이 방법은 일반적으로 큰 레이블된 데이터셋이 필요한 표준 지식 전이보다 더 높은 정확도를 달성했다.
• 최적화된 가짜 예제의 사용은 저데이터 환경에서 과적합을 크게 감소시켰다.
• 이 방법은 오직 소수의 레이블된 예제로도 강력한 일반화 성능을 보였다.
• 기준 추정기의 강건성이 효과적으로 목표 모델로 전이되어, 다시 학습함으로써 높은 성능을 달성할 수 있었다.
• 실험 결과는 이 방법이 여러 벤치마크 데이터셋에서 우수한 성능을 보임을 확인했다.