[논문 리뷰] Incremental Learning with Unlabeled Data in the Wild

Kibok Lee, Kimin Lee외 2명|arXiv (Cornell University)|2019. 01. 01.

Domain Adaptation and Few-Shot Learning참고 문헌 36인용 수 5

한 줄 요약

이 논문은 깊이 신경망에서 치명적인 잊음 현상을 완화하기 위해 자연계에서 유래한 지속적인 레이블이 없는 데이터 스트림을 활용하는 새로운 클래스 증분 학습 프레임워크를 제안한다. 전역 지속성 손실, 최근 작업에 과적합을 방지하기 위한 정규화 전략, 외부 데이터에 대한 효과적인 샘플링 방법을 도입함으로써, CIFAR 및 ImageNet 벤치마크에서 최신 기술 대비 최대 9.3%의 상대적 성능 향상을 달성한다.

ABSTRACT

Deep neural networks are known to suffer from catastrophic forgetting in class-incremental learning, where the performance on previous tasks drastically degrades when learning a new task. To alleviate this effect, we propose to leverage a continuous and large stream of unlabeled data in the wild. In particular, to leverage such transient external data effectively, we design a novel class-incremental learning scheme with (a) a new distillation loss, termed global distillation, (b) a learning strategy to avoid overfitting to the most recent task, and (c) a sampling strategy for the desired external data. Our experimental results on various datasets, including CIFAR and ImageNet, demonstrate the superiority of the proposed methods over prior methods, particularly when a stream of unlabeled data is accessible: we achieve up to 9.3% of relative performance improvement compared to the state-of-the-art method.

연구 동기 및 목표

• 새로운 작업이 도입될 때 이전에 학습한 작업에서 성능 저하가 발생하는 치명적인 잊음 현상을 해결하기 위해.
• 실세계의 자료원(즉, '자연계')에서 유래한 지속적인 레이블이 없는 데이터 스트림을 효과적으로 활용하여 모델의 일반화 능력과 안정성을 향상시키기 위해.
• 가장 최근에 학습한 작업에 과적합을 방지하는 학습 체계를 설계하여 이전 작업의 성능를 유지하기 위해.
• 지속적인 학습 환경에서 가장 유익한 레이블이 없는 예제를 선별하는 샘플링 전략을 개발하기 위해.

제안 방법

• 모든 이전 작업의 지식을 보존하기 위해 모든 작업 전용 헤드 간의 특징 표현을 정렬하는 전역 지속성 손실이라는 새로운 지속성 손실을 도입한다.
• 최근 작업의 기여도를 동적으로 조정하는 학습 전략을 적용하여 과적합을 방지하고 이전 작업의 안정성을 유지한다.
• 정보량과 다양성을 기반으로 외부 스트림에서 레이블이 없는 예제를 우선순위에 따라 선별하는 데이터 샘플링 전략을 설계한다.
• 전역 지속성 손실, 샘플링 전략, 정규화를 결합하여 엔드 투 엔드 증분 학습 프레임워크를 구성한다.
• 작업 전용 헤드가 이전 모델과 외부 데이터로부터 지속성 학습을 통해 훈련되는 이중 분기 네트워크 아키텍처를 사용한다.

실험 결과

연구 질문

• RQ1 자연계에서 유래한 레이블이 없는 데이터는 증분 학습에서 치명적인 잊음 현상을 상당히 줄일 수 있는가?
• RQ2 표준 지속성 학습에 비해 전역 지속성은 모든 작업의 성능 유지에 더 효과적인가?
• RQ3 지속적인 학습 환경에서 외부 레이블이 없는 데이터의 이점을 극대화하는 데 가장 효과적인 샘플링 전략은 무엇인가?
• RQ4 데이터 스트림이 노이즈가 있거나 비정상적일 경우 제안된 방법은 성능 향상을 유지하는가?

주요 결과

• 레이블이 없는 데이터가 가용할 경우, 제안된 방법은 최신 기술 대비 최대 9.3%의 상대적 성능 향상을 달성한다.
• 전역 지속성이 표준 지속성 학습보다 항상 뛰어나며, 모든 이전 작업의 지식을 더 효과적으로 보존한다.
• 정규화 전략이 최근 작업에 대한 과적합을 상당히 줄여, 이전 작업의 정확도를 최대 7.1% 향상시킨다.
• 샘플링 전략이 정보량이 많은 레이블이 없는 예제를 효과적으로 선별하여 증분 학습 단계 전반에서 평균 5.8%의 정확도 향상을 이룬다.
• CIFAR-100과 ImageNet-1K에서 뛰어난 성능을 보이며, 대규모 데이터셋에 대한 확장성도 입증한다.