[논문 리뷰] Learning without Forgetting

Zhizhong Li, Derek Hoiem|arXiv (Cornell University)|2016. 06. 29.

Domain Adaptation and Few-Shot Learning인용 수 9

한 줄 요약

이 논문은 기존 작업 데이터에 접근할 수 없는 상황에서 사전 훈련된 CNN의 파인튜닝을 가능하게 하는 Learning without Forgetting (LwF) 방법을 제안한다. 이 방법은 기존 작업 예제에 대한 네트워크 출력 반응을 유지함으로써 작동한다. LwF는 공동 훈련과 유사한 성능을 달성하며, 표준 파인튜닝과 특징 추출보다 새로운 작업과 기존 작업 양쪽 모두에서 뛰어난 성능을 보이며, 치명적인 잊음 문제를 효과적으로 완화하면서 새로운 작업의 정확도를 향상시킨다.

ABSTRACT

When building a unified vision system or gradually adding new capabilities to a system, the usual assumption is that training data for all tasks is always available. However, as the number of tasks grows, storing and retraining on such data becomes infeasible. A new problem arises where we add new capabilities to a Convolutional Neural Network (CNN), but the training data for its existing capabilities are unavailable. We propose our Learning without Forgetting method, which uses only new task data to train the network while preserving the original capabilities. Our method performs favorably compared to commonly used feature extraction and fine-tuning adaption techniques and performs similarly to multitask learning that uses original task data we assume unavailable. A more surprising observation is that Learning without Forgetting may be able to replace fine-tuning with similar old and new task datasets for improved new task performance.

연구 동기 및 목표

• 이전 훈련 데이터에 접근할 수 없는 상황에서 딥 러닝에서 치명적인 잊음을 해결하기 위해.
• 이전에 학습한 작업에서 높은 성능를 유지하면서 새로운 작업을 학습할 수 있는 방법을 개발하기 위해.
• 표준 파인튜닝과 특징 추출보다 새로운 작업 정확도와 이전 작업 유지 능력에서 모두 뛰어나기 위해.
• 이전 데이터를 저장하거나 재훈련하지 않고도 효율적이고 확장 가능한 지속적 학습을 가능하게 하기 위해.

제안 방법

• 이 방법은 새로운 작업 훈련 중에 기존 네트워크가 기존 작업 예제에서 내보내는 출력 반응을 유지하기 위해 지식 정렬을 사용한다.
• 온도 조정된 교차 엔트로피를 사용하여 온전한 네트워크의 출력 로짓을 기존 작업 데이터에서 일치시키는 소프트 레이블 손실이 적용된다.
• 공유 컨볼루션 레이어는 낮은 학습률로 파인튜닝되며, 작업별 특화 헤드는 처음부터 훈련된다.
• 이 접근법은 새로운 작업의 구분을 위한 파인튜닝과 이전 작업의 유지 보존을 위한 정렬을 결합함으로써 전체 재훈련을 피한다.
• 가중치 변화가 아닌 출력 행동을 직접 제약함으로써 파rameter 정규화를 피한다.
• 이 방법은 오직 새로운 작업 데이터만을 사용하여 엔드 투 엔드 훈련 중에 적용되며, 이전 작업 데이터가 필요하지 않다.

실험 결과

연구 질문

• RQ1 기존 훈련 데이터에 접근할 수 없음에도 불구하고 CNN이 새로운 시각적 작업을 학습하면서 이전 작업의 성능을 유지할 수 있는가?
• RQ2 기존 작업 예제의 출력 반응을 유지하는 것이 표준 파인튜닝보다 새로운 작업과 기존 작업 양쪽의 성능에서 뛰어나게 되는가?
• RQ3 온도 조정된 지식 정렬이 지속적 학습 환경에서 치명적인 잊음을 효과적으로 방지할 수 있는가?
• RQ4 정확도와 효율성 측면에서 LwF는 공동 훈련과 특징 추출에 비해 어떻게 비교되는가?
• RQ5 LwF는 표준 파인튜닝의 대체 수 Mittel로 사용될 수 있는가?

주요 결과

• LwF는 낮은 학습률을 사용하는 파인튜닝조차도 새로운 작업 성능에서 특징 추출과 표준 파인튜닝을 능가한다.
• 표준 파인튜닝이 치명적인 잊음을 겪는 데 비해, LwF는 이전 작업에서 훨씬 뛰어난 성능를 유지한다.
• 모든 작업 데이터가 필요한 공동 훈련과 유사한 성능를 달성하면서도, 오직 새로운 작업 데이터만을 사용하여 훈련한다.
• 온도 조정(온도 T=2)을 사용한 지식 정렬이 반응 유지에 있어 L1, L2 및 교차 엔트로피 손실보다 略적으로 뛰어난 성능를 보인다.
• 공유 레이어의 학습률만 낮추는 것은 이전 작업 성능 저하를 방지하지 못하며, 출력 기반 정규화의 필요성을 보여준다.
• LwF는 표준 파인튜닝을 대체함으로써 새로운 작업 정확도를 향상시키므로, 현재 관행의 우수한 대안이 될 수 있다.