[논문 리뷰] Less-forgetful Learning for Domain Expansion in Deep Neural Networks

Heechul Jung, Jeongwoo Ju외 2명|arXiv (Cornell University)|2017. 11. 16.

Domain Adaptation and Few-Shot Learning참고 문헌 25인용 수 3

한 줄 요약

이 논문은 딥 네ural 네트워크를 위한 덜 잊는 학습(LF) 방법을 제안하여 도메인 확장을 가능하게 한다—기존에 학습한 도메인의 성능을 유지하면서도 이전 데이터에 접근할 수 없는 상황에서 새로운 도메인에 적응할 수 있도록 한다. 이 방법은 두 가지 새로운 특성인 특징 수준의 지식 정착과 오래된 도메인 표현을 유지하기 위한 보조 손실($\mathcal{L}_e$)을 사용하여, 피인식, LwF, EWC보다 우수한 성능을 달성한다. 이미지 분류 벤치마크에서 검증되었다.

ABSTRACT

Expanding the domain that deep neural network has already learned without accessing old domain data is a challenging task because deep neural networks forget previously learned information when learning new data from a new domain. In this paper, we propose a less-forgetful learning method for the domain expansion scenario. While existing domain adaptation techniques solely focused on adapting to new domains, the proposed technique focuses on working well with both old and new domains without needing to know whether the input is from the old or new domain. First, we present two naive approaches which will be problematic, then we provide a new method using two proposed properties for less-forgetful learning. Finally, we prove the effectiveness of our method through experiments on image classification tasks. All datasets used in the paper, will be released on our website for someone's follow-up study.

연구 동기 및 목표

• 이전 학습 데이터에 접근할 수 없을 때 딥 네럴 네트워크에서 치명적인 잊음 문제를 해결한다.
• 모델이 이전에 학습한 도메인의 지식을 유지하면서 새로운 도메인에 적응해야 하는 실세계 응용 분야에서의 지속적 학습을 가능하게 한다.
• 입력 데이터가 이전 도메인인지 새로운 도메인인지에 대한 사전 지식이 없더라도 효과적으로 작동하는 방법을 개발한다.
• 새로운 손실 함수와 아키텍처 제약 조건을 통해 오래된 도메인 특징을 유지함으로써 도메인 확장에서 일반화 능력과 안정성을 향상시킨다.

제안 방법

• 덜 잊는 학습을 위한 두 가지 핵심 특성 제안: (1) 오래된 도메인 표현을 유지하기 위한 특징 수준의 지식 정착, (2) 학습 중 특징 공간의 안정성을 확보하기 위한 보조 손실($\\mathcal{L}_e$).
• 교차 엔트로피 손실과 $\mathcal{L}_e$를 조합한 학습 목표 함수를 도입하여, 오래된 도메인과 새로운 도메인 샘플 간의 특징 일관성을 장려한다.
• 공유된 특징 추출기와 새로운 도메인 데이터만으로 훈련된 분류기 헤드를 사용하며, 지식 정착을 통해 오래된 도메인 성능를 유지한다.
• 오랜 데이터에 접근할 수 없지만, 제안된 손실과 지식 정착을 통해 오래된 도메인 성능를 유지할 수 있도록, 오직 새로운 도메인 데이터만을 사용하는 피인식 설정에서 이 방법을 적용한다.
• 오래된 도메인 특징가 잘 혼합되고 구별되지 않도록 네트워크를 설계하여, $\mathcal{L}_e$를 통해 치명적인 잊음을 방지한다.
• MNIST, SVHN, CIFAR, ImageNet 등의 데이터셋을 사용하여 이미지 분류 작업에서 이 방법을 검증하였으며, 스クラ치 훈련과 피인식에 대한 분석 연구를 수행하였다.

실험 결과

연구 질문

• RQ1 딥 네럴 네트워크가 오직 새로운 도메인 데이터만으로 훈련되면서도 이전 도메인의 성능를 유지할 수 있는가?
• RQ2 이전 데이터나 입력 도메인 여부에 대한 사전 지식이 없을 때 도메인 확장에서 치명적인 잊음을 어떻게 완화할 수 있는가?
• RQ3 어떤 손실 함수와 아키텍처 구성 요소가 도메인 간 안정적인 특징 표현 유지에 기여하는가?
• RQ4 제안된 방법이 순차적 도메인 적응을 포함한 지속적 학습 시나리오로 일반화되는가?
• RQ5 LF 방법의 성능는 피인식, LwF, EWC에 비해 오래된 도메인 및 새로운 도메인 정확도 측면에서 어떻게 비교되는가?

주요 결과

• 제안된 덜 잊는(LF) 학습 방법은 오래된 도메인 성능를 유지하면서도 새로운 도메인에 적응하는 데서 피인식, LwF, EWC를 능가한다.
• MNIST ∪ SVHN 벤치마크에서 LF는 지속적 학습에서 71.1%의 분류 정확도를 달성하여, 피인식(67.18%)을 크게 능가하고 오프라인 학습(78.16%)에 가까워졌다.
• CIFAR 색상 ∪ 회색 실험에서는 새로운 도메인 데이터(grayscale)로 스クラ치 훈련을 수행한 결과, 두 도메인 모두에서 유사한 성능를 기록하여, 복잡한 데이터 일반화가 도메인 간 전이 능력을 향상시킨다는 것을 시사한다.
• 새로운 도메인 데이터가 제한적인 경우(예: ImageNet 정상 ∪ 어두운 및 밝은), 스クラ치 훈련은 과적합과 악화된 오래된 도메인 성능를 초래했지만, LF는 강력한 일반화 능력을 유지했다.
• $\mathcal{L}_e$ 손실은 특징 공간을 효과적으로 안정화시켜 변화를 줄이고 잊음을 감소시켰으며, 잘 혼합된 오래된 도메인 특징을 통해 이를 뒷받침한다.
• 이 방법은 지속적 학습에 실현 가능하다: 10개의 작업을 순차적으로 수행하는 CIFAR-10 실험에서 LF는 71.1%의 정확도를 달성하여 이전 데이터에 접근하지 않더라도 강건함을 입증했다.