[논문 리뷰] Move-to-Data: A new Continual Learning approach with Deep CNNs, Application for image-class recognition

Miltiadis Poursanidis, Jenny Benois‐Pineau외 3명|arXiv (Cornell University)|2020. 06. 12.

Anomaly Detection Techniques and Applications참고 문헌 17인용 수 6

한 줄 요약

이 논문은 깊이 합성곱 신경망을 위한 빠른 지속 학습 방법인 Move-to-Data를 제안한다. 이 방법은 기울기 기반 재학습을 피하기 위해 들어오는 데이터에 대응해 최종 완전 연결 계층의 가중치를 직접 조정한다. CPU에서 미세조정보다 4배 이상 빠른 추론 속도를 보이며, 성능는 미세조정과 유사한 수준을 달성한다. 이와 동시에 유사한 치명적인 잊음 현상을 보인다.

ABSTRACT

In many real-life tasks of application of supervised learning approaches, all the training data are not available at the same time. The examples are lifelong image classification or recognition of environmental objects during interaction of instrumented persons with their environment, enrichment of an online-database with more images. It is necessary to pre-train the model at a "training recording phase" and then adjust it to the new coming data. This is the task of incremental/continual learning approaches. Amongst different problems to be solved by these approaches such as introduction of new categories in the model, refining existing categories to sub-categories and extending trained classifiers over them, ... we focus on the problem of adjusting pre-trained model with new additional training data for existing categories. We propose a fast continual learning layer at the end of the neuronal network. Obtained results are illustrated on the opensource CIFAR benchmark dataset. The proposed scheme yields similar performances as retraining but with drastically lower computational cost.

연구 동기 및 목표

• 데이터가 순차적으로 도착하는 지속 학습 환경에서 표준 미세조정의 계산 비효율성을 해결한다.
• 실시간 또는 온라인 응용 프로그램에서 점진적 모델 업데이트 시 백프로파게이션의 높은 계산 비용을 완화한다.
• 기존에 학습한 클래스에 대한 모델 성능을 유지하면서 기존 카테고리의 새로운 데이터에 적응한다.
• 학습 오버헤드를 줄이기 위해 오직 마지막 레이어의 가중치만 수정하는 경량의 비기울기 기반 방법을 개발한다.
• GPU 가속이 제공되지 않는 환경에서 실시간 적응이 가능한 응용 분야(예: 신경프로스티틱 시각 시스템 또는 지속적으로 업데이트되는 이미지 데이터베이스)에 적용 가능하도록 한다.

제안 방법

• 들어오는 데이터에 기반해 최종 완전 연결 레이어의 가중치 벡터를 직접 수정하는 비기울기 기반 업데이트 규칙을 제안한다.
• 가중치 업데이트의 크기를 조절하기 위해 학습 가능한 파라미터 ε를 사용하여 안정성과 유연성의 균형을 이룬다.
• 간단한 가중치 조정 메커니즘을 적용: W ← W + ε · (1 - y) · x, 여기서 x는 입력 특징 벡터이고 y는 예측된 클래스이다.
• 온라인 방식으로 작동하여 전체 네트워크를 재학습하지 않고도 각 데이터 샘플 수신 후 모델을 즉시 업데이트한다.
• 모든 합성곱 및 이전 완전 연결 레이어를 동결하여 계산 효율성을 유지한다. 오직 마지막 레이어만 업데이트한다.
• TensorFlow 백엔드를 사용한 Keras에서 구현하였으며, 기준 미세조정과의 공정한 비교를 위해 CPU 전용 실행 환경을 사용한다.

실험 결과

연구 질문

• RQ1 비기울기 기반 방법이 이미지 분류를 위한 지속 학습에서 미세조정과 유사한 정확도를 달성할 수 있는가?
• RQ2 제안된 방법은 계산 효율성과 추론 속도 측면에서 표준 미세조정과 비교해 어떻게 성능를 내는가?
• RQ3 Move-to-Data 방법은 기울기 기반 미세조정과 유사한 치명적인 잊음 행동을 보이는가?
• RQ4 점진적 학습에서 모델의 안정성과 적응 능력의 균형을 이루기 위한 최적의 ε 값은 무엇인가?
• RQ5 제한된 계산 자원을 가진 실시간 또는 온라인 학습 환경에서 이 방법을 효과적으로 적용할 수 있는가?

주요 결과

• Move-to-Data는 10개의 데이터 청크를 처리한 후 CIFAR-10에서 최종 테스트 정확도 0.761을 달성했으며, 기준 미세조정 정확도 0.762와 매우 유사한 성능를 보였다.
• CPU에서 Move-to-Data는 평균 계산 시간 333.304 ± 47.499 ms로 미세조정의 1327.179 ± 136.908 ms보다 4배 이상 빠른 속도를 기록했다.
• ε = 0.0001일 경우 Move-to-Data는 모든 데이터 청크 동안 안정된 성능를 유지했으며, 시간이 지남에 따라 약간의 향상만을 보였다.
• ε = 0.1일 경우 메서드는 심각한 치명적인 잊음 현상을 보였으며, 이는 큰 업데이트가 모델을 불안정하게 만든다는 것을 시사한다.
• 모든 10개의 데이터 청크 동안 성능가 일관되게 유지되어 순차적 데이터 도착에 대한 강건성을 입증했다.
• 이 방법은 계산적으로 효율적이며 GPU 가속이 제공되지 않는 실시간 응용 분야에 적합하다.