[논문 리뷰] DeeSIL: Deep-Shallow Incremental Learning

Eden Belouadah, Adrian Popescu|arXiv (Cornell University)|2018. 08. 20.

Domain Adaptation and Few-Shot Learning참고 문헌 13인용 수 5

한 줄 요약

DeeSIL은 고정된 깊이 특징 추출기와 새로운 클래스에 대해 독립적인 얕은 선형 SVM을 훈련시는 딥-섀로우 인크리멘탈 러닝 프레임워크를 제안한다. 이는 치명적인 잊음( catastrophic forgetting)을 방지하고, 분류 추가 시간을 분 단위 이내로 줄여준다. ImageNet-1000에서 iCaRL보다 최상위 5개 정확도가 23~33점 높으며, 메모리가 제한되고 깊이 재훈련이 없는 조건에서도 성능을 유지한다.

ABSTRACT

Incremental Learning (IL) is an interesting AI problem when the algorithm is assumed to work on a budget. This is especially true when IL is modeled using a deep learning approach, where two com- plex challenges arise due to limited memory, which induces catastrophic forgetting and delays related to the retraining needed in order to incorpo- rate new classes. Here we introduce DeeSIL, an adaptation of a known transfer learning scheme that combines a fixed deep representation used as feature extractor and learning independent shallow classifiers to in- crease recognition capacity. This scheme tackles the two aforementioned challenges since it works well with a limited memory budget and each new concept can be added within a minute. Moreover, since no deep re- training is needed when the model is incremented, DeeSIL can integrate larger amounts of initial data that provide more transferable features. Performance is evaluated on ImageNet LSVRC 2012 against three state of the art algorithms. Results show that, at scale, DeeSIL performance is 23 and 33 points higher than the best baseline when using the same and more initial data respectively.

연구 동기 및 목표

• 엄격한 메모리 제약 조건 하에서 인크리멘탈 러닝의 치명적인 잊음과 높은 재훈련 비용 문제를 해결한다.
• 딥 네트워크 재훈련 없이도 빠르게 새로운 클래스를 추가할 수 있도록 한다. (1분 이내)
• 이전에 큰 데이터셋을 활용해 전이 가능한 깊이 특징을 확보함으로써 인식 능력을 극대화한다.
• 파rameter 수가 증가하지 않으며, 많은 클래스에 걸쳐도 성능을 유지하는 확장 가능하고 메모리 효율적인 방법을 개발한다.
• GPU가 이용 불가능한 저자원 환경을 위한 실용적인 솔루션을 제공한다.

제안 방법

• 모든 훈련 이미지에서 512차원 특징을 추출하기 위해 고정된 딥 네트워크(DFE)를 사용하며, 이 특징 추출기는 인크리멘탈 러닝 기간 동안 동결된다.
• 양성 예제 대신 음성 특징의 고정 크기 메모리(K개 항목)를 저장하며, 다양성과 대표성을 유지하기 위해 음성 선택기(NS)를 사용한다.
• 새로운 클래스의 양성 특징과 메모리 풀에서 추출한 음성 특징을 사용해 각 새로운 클래스에 대해 독립적인 선형 SVM을 훈련시킨다.
• 대표성을 유지하기 위해 다양성 기반 선택 전략(예: $\text{div}$) 또는 무작위 샘플링($\text{rand}$)을 사용해 음성 메모리 풀을 업데이트한다.
• 딥 표현 학습과 인크리멘탈 분류를 분리함으로써, 각 새로운 클래스에 대해 얕은 분류기만 훈련시켜 CPU 기반에서 빠른 훈련을 가능하게 한다.
• 대규모 사전 훈련 데이터(예: ImageNet-1000 또는 Flickr)를 활용해 고정된 딥 특징의 전이 능력을 향상시킨다.

실험 결과

연구 질문

• RQ1 고정된 깊이 표현과 독립적인 얕은 분류기 조합이 인크리멘탈 러닝에서 엔드 투 엔드 재훈련보다 더 높은 성능을 달성할 수 있는가?
• RQ2 양성 예제 메모리와 비교했을 때 음성 특징 선택 전략이 확장성과 잊음 완화 측면에서 어떻게 성능을 내는가?
• RQ3 목표 데이터셋의 클래스 수보다 더 많은 클래스로 딥 특징 추출기를 사전 훈련하면 성능 향상 정도는 어느 정도일 수 있는가?
• RQ4 DeeSIL의 훈련 시간과 메모리 사용량은 iCaRL 및 LwF와 같은 최신 기법과 비교해 어떻게 되는가?
• RQ5 수천 개의 클래스로 확장할 경우 성능 저하나 메모리 폭발 없이 안정적으로 작동할 수 있는가?

주요 결과

• 1000개의 초기 클래스로 훈련했을 때 DeeSIL은 ImageNet-1000에서 최상위 5개 정확도 89%를 달성했으며, 전체 훈련 기준(89% 정확도)과 비교해 12점 뿐 손실되었다. 반면 iCaRL는 44점 손실을 입었다.
• 100개의 초기 클래스만 사용했을 경우 DeeSIL은 최상위 5개 정확도 66점을 기록했으며, 동일 조건에서 iCaRL의 43점보다 23점 높았다.
• ILSVRC 외의 ImageNet 1000에서의 1000개 초기 클래스를 활용했을 때, DeeSIL은 iCaRL보다 33점 높은 성능을 보였으며, 더 풍부한 사전 훈련 데이터의 이점을 입증했다.
• CPU에서 단일 클래스 추가에 소요되는 시간은 1분 이내이며, iCaRL는 GPU에서 약 32시간이 소요되어 얕은 분류기 업데이트의 효율성을 입증했다.
• 다양성 기반 샘플링($\text{div}$)보다 무작위 음성 샘플링($\text{rand}$)이 유사한 성능을 보이며, 0.5점의 성능 향상을 기록해 단순성과 성능의 균형을 고려할 때 $\text{rand}$를 선호하는 선택으로 삼을 수 있다.
• 모든 평가 설정에서 DeeSIL은 iCaRL 및 기타 베이스라인보다 뛰어난 성능을 보였으며, 특히 더 많은 초기 데이터를 사용할수록 성능 향상이 두드러져 이 방법의 강건성을 확인했다.