[논문 리뷰] Beyond Fine Tuning: A Modular Approach to Learning on Small Data

Ark Anderson, Kyle Shaffer외 3명|arXiv (Cornell University)|2016. 11. 06.

Domain Adaptation and Few-Shot Learning참고 문헌 23인용 수 7

한 줄 요약

이 논문은 미세조정 없이 분포 이탈을 학습할 수 있도록 고정된 사전 훈련된 신경망 모듈과 학습 가능한 모듈을 결합하는 신경 모듈형 접근법을 제안한다. 사전 훈련된 표현을 유지하면서 새로운 작업에 특화된 모듈을 추가함으로써, CIFAR-100, 텍스트 분류, 세분화된 이미지 인식과 같은 소규모 데이터 벤치마크에서 표준 미세조정보다 최대 5% 높은 정확도를 달성한다.

ABSTRACT

In this paper we present a technique to train neural network models on small amounts of data. Current methods for training neural networks on small amounts of rich data typically rely on strategies such as fine-tuning a pre-trained neural network or the use of domain-specific hand-engineered features. Here we take the approach of treating network layers, or entire networks, as modules and combine pre-trained modules with untrained modules, to learn the shift in distributions between data sets. The central impact of using a modular approach comes from adding new representations to a network, as opposed to replacing representations via fine-tuning. Using this technique, we are able surpass results using standard fine-tuning transfer learning approaches, and we are also able to significantly increase performance over such approaches when using smaller amounts of data.

연구 동기 및 목표

• 클래스당 100개 이하의 예제만 있는 소규모 데이터셋에서 딥 신경망을 훈련하는 데 도전한다.
• 사전 훈련된 특징를 덮어쓰고 치명적인 잊힘을 유발하는 표준 미세조정의 한계를 극복한다.
• 사전 훈련된 네트워크의 표현 능력을 유지하면서 모듈형 조합을 통해 새로운 작업에 특화된 특징를 학습한다.
• 이미지 및 텍스트 분류와 같은 다양한 도메인에서 소규모 데이터 작업에서 향상된 성능을 입증한다.
• 기존 네트워크 구성 요소를 재학습하거나 교체하지 않고도 확장 가능한 모듈형 아키텍처를 개발한다.

제안 방법

• 사전 훈련된 신경망 레이어 또는 전체 네트워크를 가중치가 동결된 고정 모듈로 간주한다.
• 이러한 고정된 사전 훈련된 모듈을 학습 가능한, 초기화되지 않은 모듈과 고차원 아키텍처에서 조합한다.
• 다양한 네트워크의 LSTM 레이어와 같은 여러 모듈의 출력을 연결하여 공유 표현 레이어를 형성한다.
• 결합된 표현을 처리하고 최종 클래스 확률을 예측하기 위해 게이팅 순환 유닛(GRUs) 또는 유사한 레이어를 사용한다.
• 사전 훈련된 모듈은 동결된 채로 유지하면서 새로운 모듈을 엔드 투 엔드로 훈련함으로써 학습된 특징를 보존한다.
• 이러한 모듈형 아키텍처를 이미지 분류(CIFAR-100, Stanford Cars) 및 텍스트 분류(IMDB 감성)와 같은 다양한 작업에 적용한다.

실험 결과

연구 질문

• RQ1 사전 훈련된 특징를 유지하는 모듈형 아키텍처가 소규모 데이터 학습 작업에서 표준 미세조정을 능가할 수 있는가?
• RQ2 다양한 사전 훈련된 모듈과 학습 가능한 모듈을 조합함으로써 단일 네트워크의 미세조정에 비해 특징 학습이 어떻게 향상되는가?
• RQ3 모듈형 접근법이 전이 학습에서 치명적인 잊힘을 어느 정도 완화하는가?
• RQ4 이러한 모듈형 방법은 이미지와 텍스트와 같은 다양한 데이터 모odalities에서 제한된 레이블 예제로도 일반화 가능한가?
• RQ5 클래스당 예를 몇십 개로 제한할 경우, 모듈형 접근법이 미세조정보다 더 높은 정확도를 달성할 수 있는가?

주요 결과

• IMDB 감성 분류에서 500개의 훈련 예제만으로도 모듈형 접근법이 69.6%의 정확도를 달성하여 다음으로 우수한 모델(64.9%)보다 4.7% 높았다.
• 제한된 데이터로 CIFAR-100을 훈련할 경우, 모듈형 모델이 표준 미세조정을 뛰어넘어 소규모 데이터 환경에서 뛰어난 성능을 보였다.
• 훈련 데이터가 부족할 경우, 특히 클래스당 100개 이하의 예제일 경우, 모듈형 방법이 미세조정을 크게 능가했다.
• 모듈형 네트워크의 성능는 10번의 무작위 가중치 초기화에 대해 안정적이었으며 평균 정확도 69.6%를 기록하여 초기화 변동성에 대한 강건성을 보였다.
• 모듈형 네트워크는 보완적인 특징 학습을 가능하게 했으며, 새로운 모듈이 사전 훈련된 네트워크가 놓친 미세한 패턴을 포착했다.
• 사전 훈련된 모델의 표현 능력을 유지하면서 새로운 작업에 특화된 표현을 추가함으로써 치명적인 잊힘을 방지했다.