[논문 리뷰] On the Exploration of Incremental Learning for Fine-grained Image Retrieval

Wei Chen, Yu Liu외 4명|arXiv (Cornell University)|2020. 10. 15.

Domain Adaptation and Few-Shot Learning참고 문헌 26인용 수 9

한 줄 요약

이 논문은 원래 클래스 데이터에 접근하지 않으면서도 치명적인 잊힘(catastrophic forgetting)을 완화하는 새로운 증분 학습 프레임워크를 제안한다. 원래 네트워크의 소프트 레이블에서의 지식 정착(knowledge distillation)과 특징 분포를 정규화하기 위한 최대 평균 차이(MMD) 기반 정규화를 조합함으로써, 오래된 클래스에 대한 성능을 유지하면서도 새로운 클래스에 대해 뛰어난 정확도를 달성한다. 이는 CUB-Birds 및 Stanford Cars 데이터셋에서 기존 방법들을 능가한다.

ABSTRACT

In this paper, we consider the problem of fine-grained image retrieval in an incremental setting, when new categories are added over time. On the one hand, repeatedly training the representation on the extended dataset is time-consuming. On the other hand, fine-tuning the learned representation only with the new classes leads to catastrophic forgetting. To this end, we propose an incremental learning method to mitigate retrieval performance degradation caused by the forgetting issue. Without accessing any samples of the original classes, the classifier of the original network provides soft "labels" to transfer knowledge to train the adaptive network, so as to preserve the previous capability for classification. More importantly, a regularization function based on Maximum Mean Discrepancy is devised to minimize the discrepancy of new classes features from the original network and the adaptive network, respectively. Extensive experiments on two datasets show that our method effectively mitigates the catastrophic forgetting on the original classes while achieving high performance on the new classes.

연구 동기 및 목표

• 새로운 카테고리가 점진적으로 추가될 때 미세조정 이미지 검색에서 치명적인 잊힘을 해결하기 위해.
• 원래 클래스의 학습 샘플에 접근할 수 없더라도 그 성능을 유지하기 위해.
• 시간이 오래 소요되는 공동 재학습을 피하기 위해 효율적인 새로운 클래스에 대한 적응을 가능하게 하기 위해.
• 미세조정 인식에서 흔히 나타나는 미세한 시각적 변형에 대해 강건한 방법을 개발하기 위해.
• 기존 증분 학습 방법보다 검색 정확도와 잊힘 완화 측면에서 뛰어나게 하기 위해.

제안 방법

• 원래 네트워크의 분류기에서 유도된 소프트 레이블을 통해 지식 정착을 이용하여 적응 네트워크로 지식을 전달한다.
• 원래 네트워크와 적응 네트워크의 특징 간 분포의 차이를 최소화하기 위해 최대 평균 차이(MMD) 정규화를 도입한다.
• 특징 공간 내에서 미세조정 식별력을 향상시키기 위해 교차 엔트로피 손실과 트리플릿 손실을 활용한다.
• 원래 클래스 데이터에 접근하지 않고도 새로운 클래스만으로 적응 네트워크를 훈련시킨다.
• 잊힘 방지를와 새로운 클래스 적응을 균형 있게 이끌기 위해 정착 손실과 MMD 손실을 통합된 최적화 목표로 조합한다.
• 학습된 표현을 유지하기 위해 적응 네트워크를 원래 모델의 동결된 가중치로 초기화한다.

실험 결과

연구 질문

• RQ1 원래 데이터를 재학습 없이 증분 학습을 효과적으로 적용할 수 있는가?
• RQ2 특징 식별력이 핵심적인 검색 작업에서 치명적인 잊힘을 어떻게 완화할 수 있는가?
• RQ3 MMD 기반 특징 분포 정규화가 오래된 클래스와 새로운 클래스 양쪽에서 성능 향상에 얼마나 기여하는가?
• RQ4 검색 전용 환경에서 정착과 MMD 손실는 표준 방법(LwF, EWC)보다 어떻게 비교되는가?
• RQ5 원래 클래스와 새로운 클래스 성능 간의 최적 트레이드오프를 이룰 수 있는 최적의 하이퍼파라미터 설정은 무엇인가?

주요 결과

• 100개의 새로운 클래스가 추가되었을 때, 제안된 방법은 원래 클래스에서 74.41% Recall@1, 새로운 클래스에서 73.11% Recall@1을 달성하여 공동 훈련의 77.33% Recall@1에 근접한다.
• MMD 정규화를 적용한 결과, 원래 클래스의 성능이 73.36% Recall@1으로 향상되었으며, 기본 미세조정 대비 19.4% 상대적 향상률을 기록했다.
• 제거 분석 결과, 정착과 MMD 손실를 병행 적용할 경우 가장 뛰어난 성능을 기록했으며, 단일 손실 성분만을 사용한 방법보다 뛰어났다.
• 하이퍼파라미터 민감도 분석 결과, MMD 가중치(β)가 정착 가중치(α)보다 성능 트레이드오프에 더 큰 영향을 미친다.
• 공동 재학습 대비 약 50%의 훈련 시간을 절감하면서도 높은 검색 정확도를 유지한다.
• Stanford Cars 데이터셋에서 LwF와 EWC보다 뛰어난 성능을 기록했으며, 특히 원래 클래스 성능 유지 측면에서 뛰어났다.