[논문 리뷰] Multi-Task Incremental Learning for Object Detection

Xialei Liu, Hao Yang외 3명|arXiv (Cornell University)|2020. 02. 13.

Domain Adaptation and Few-Shot Learning참고 문헌 54인용 수 35

한 줄 요약

The paper studies incremental training of object detectors across multiple domains and categories, introducing attentive feature distillation (AFD) and adaptive exemplar sampling to mitigate catastrophic forgetting, validated on seven benchmarks.

ABSTRACT

Multi-task learns multiple tasks, while sharing knowledge and computation among them. However, it suffers from catastrophic forgetting of previous knowledge when learned incrementally without access to the old data. Most existing object detectors are domain-specific and static, while some are learned incrementally but only within a single domain. Training an object detector incrementally across various domains has rarely been explored. In this work, we propose three incremental learning scenarios across various domains and categories for object detection. To mitigate catastrophic forgetting, attentive feature distillation is proposed to leverages both bottom-up and top-down attentions to extract important information for distillation. We then systematically analyze the proposed distillation method in different scenarios. We find out that, contrary to common understanding, domain gaps have smaller negative impact on incremental detection, while category differences are problematic. For the difficult cases, where the domain gaps and especially category differences are large, we explore three different exemplar sampling methods and show the proposed adaptive sampling method is effective to select diverse and informative samples from entire datasets, to further prevent forgetting. Experimental results show that we achieve the significant improvement in three different scenarios across seven object detection benchmark datasets.

연구 동기 및 목표

• Domain 간 격차와 카테고리 차이가 incremental object detection에서의 forgetting에 어떤 영향을 미치는가를 조사한다.
• backbone 특징을 공유하고 task-specific heads를 업데이트하는 incremental learning 프레임워크를 개발한다.
• 탐지 task를 위해 bottom-up 및 top-down 주의를 활용하는 attentive distillation 전략을 설계한다.
• 데이터가 이전 task에서 제한적일 때 forgetting을 완화하기 위해 exemplar sampling 방법을 제안한다.

제안 방법

• 여러 object detection 데이터셋에 걸친 three non-trivial incremental learning 시나리오를 제시한다.
• attentive feature distillation (AFD)를 도입하고, bottom-up self-attention과 ground-truth 박스로 안내되는 top-down attention을 결합한다.
• AFD를 feature maps에 적용된 bottom-up L_BU_AFD와 top-down L_TD_AFD 손실의 조합으로 정식화한다.
• L_det^B + L_det^A + lambda * L_AFD로 표준 탐지 손실과 incremental learning objective를 결합하여 L을 구성한다.
• 각 클래스당 다양한 exemplar를 선택하기 위한 세 가지 sampling 전략(random, hard, adaptive)과 적응적 샘플링 스킴을 개발한다.
• 프레임워크를 두 개의 task를 초과하는 구성으로 확장하고, 다양한 도메인-카테고리 구성을 통한 forgetting을 분석한다.

실험 결과

연구 질문

• RQ1 도메인 간 격차와 카테고리 차이가 incremental object detection에서 catastrophic forgetting에 어떤 영향을 미치는가?
• RQ2 AFD가 새로운 도메인이나 새로운 카테고리를 점진적으로 학습할 때 forgetting을 줄일 수 있는가?
• RQ3 exemplars가 object detection에서 forgetting을 완화하는 데 어떤 역할을 하며, 어떤 샘플링 전략이 가장 효과적인가?

주요 결과

• 도메인 간 격차는 incremental object detection에서 forgetting에 미치는 영향이 카테고리 차이보다 작을 때가 많다.
• bottom-up 및 top-down 주의를 모두 활용한 AFD는 여러 시나리오에서 joint training에 근접한 성능을 달성할 수 있다.
• 도메인과 카테고리 이동이 큰 어려운 경우에도 exemplar-based rehearsal은 forgetting을 추가로 감소시키며, adaptive sampling이 random 또는 hard sampling보다 더 뛰어나다.
• AFD 기반 방법은 baselines 대비 큰 이점을 보이며 다수의 데이터셋 쌍(KITTI, Kitchen; Comic, Watercolor; VOC, COCO)에 대해 joint training 성능에 근접한 경향을 보인다.
• 프레임워크는 세 개 및 여섯 개의 task로 확장 가능하며, exemplar로 미세조정하는 것보다 forgetting을 더 잘 감소시키는 탄력성과 견고성을 유지한다.