[논문 리뷰] Lifelong Object Detection

Zhou Wang, Shiyu Chang외 3명|arXiv (Cornell University)|2020. 09. 02.

Domain Adaptation and Few-Shot Learning참고 문헌 29인용 수 25

한 줄 요약

이 논문은 기존 학습 데이터에 접근할 수 없는 조건에서 지속적인 클래스 추가 시 기계적 잊기(catastrophic forgetting)를 완화하기 위해 Faster R-CNN 기반의 수명 주기 객체 검출 프레임워크를 제안한다. 이는 영역 제안 네트워크(RPN)와 영역 분류기(R-CNN) 양쪽에 지식 정착(knowledge distillation)을 적용하고, 가짜 양성 샘플을 고려한 샘플링 전략(PPAS)을 통해 샘플 선택을 향상시킨다. 제안된 방법은 기준 모델 대비 6배 빠른 속도를 기록하며 경쟁적인 평균 정밀도(mAP) 성능을 달성하여, 과거 데이터 재사용 없이도 실시간 응용에 적합하다.

ABSTRACT

Recent advances in object detection have benefited significantly from rapid developments in deep neural networks. However, neural networks suffer from the well-known issue of catastrophic forgetting, which makes continual or lifelong learning problematic. In this paper, we leverage the fact that new training classes arrive in a sequential manner and incrementally refine the model so that it additionally detects new object classes in the absence of previous training data. Specifically, we consider the representative object detector, Faster R-CNN, for both accurate and efficient prediction. To prevent abrupt performance degradation due to catastrophic forgetting, we propose to apply knowledge distillation on both the region proposal network and the region classification network, to retain the detection of previously trained classes. A pseudo-positive-aware sampling strategy is also introduced for distillation sample selection. We evaluate the proposed method on PASCAL VOC 2007 and MS COCO benchmarks and show competitive mAP and 6x inference speed improvement, which makes the approach more suitable for real-time applications. Our implementation will be publicly available.

연구 동기 및 목표

• 기존 학습 데이터에 접근할 수 없는 조건에서 새로운 클래스가 순차적으로 도입될 경우 발생하는 기계적 잊기 문제를 해결하기 위해.
• 새로운 클래스에 대해 사전에 학습된 Faster R-CNN 모델을 점진적으로 개선하여 객체 검출에서 지속 학습을 가능하게 하기 위해.
• 이전 데이터를 재학습하지 않더라도 이전 클래스와 신규 클래스 양쪽에서 검출 성능을 향상시키기 위해.
• 유지 보존된 재현율을 확보하면서도 더 적은 영역 제안을 생성하여 추론 효율성을 향상시키기 위해.
• 이전에 학습한 클래스의 지식을 유지하기 위해 유의미한 샘플을 우선순위로 선별하는 샘플링 전략을 개발하기 위해.

제안 방법

• 사전에 학습된 검출기를 교사 모델로 사용하여, 점진적 학습 중에 학생 모델을 안내하는 지식 정착을 적용한다.
• 기존에 학습된 클래스의 검출 성능을 유지하기 위해 Faster R-CNN의 RPN 및 R-CNN 구성 요소 양쪽에 정착 손실를 적용한다.
• 교사 모델이 산출한 가짜 양성 점수를 기반으로 고가치 앵커와 RoI를 선택하는 가짜 양성 인식 샘플링(PPAS) 전략을 도입한다.
• 기억 상실 방지를 위한 정착 손실와 새로운 클래스를 학습하기 위한 감독 기반 교차 엔트로피 손실을 조합한 손실 함수를 사용한다.
• 추론 시 RPN을 동적으로 조정하여 더 적고 더 관련성이 높은 제안을 생성함으로써 계산 오버헤드를 감소시킨다.
• 기존 데이터 재재생 없이 교사 모델의 지식을 유지하면서 새로운 클래스에 대해 점진적으로 학습하는 학생 모델을 훈련시켜 지속 학습을 가능하게 한다.

실험 결과

연구 질문

• RQ1 새로운 클래스가 점진적으로 도입될 경우 지식 정착이 기계적 잊기 문제를 효과적으로 방지할 수 있는가?
• RQ2 가짜 양성 인식 샘플링(PPAS) 전략은 무작위 또는 단순한 샘플링 전략에 비해 정착 성능을 어떻게 향상시키는가?
• RQ3 제안된 수명 주기 검출 방법은 이전에 학습된 클래스에서 높은 mAP 성능을 유지하면서도 새로운 클래스에서 강력한 성능을 달성하는가?
• RQ4 외부 제안 네트워크를 사용하는 기준 방법 대비 이 방법은 추론 속도를 얼마나 향상시키는가?
• RQ5 여러 개의 새로운 클래스가 순차적인 배치로 추가될 경우 이 방법은 어떻게 확장되는가?

주요 결과

• PASCAL VOC 2007에서, 새로운 클래스를 추가한 후 기존 클래스에 대해 63.5% mAP를 달성하였으며, 정착 없이 12.3%에 그친 것과 비교해 뚜렷한 향상이 있었다.
• VOC의 '19+1' 설정에서, 5개의 새로운 클래스를 추가한 결과 56.7% mAP를 기록하여 Seq-Fast(55.2%)를 초월하였다.
• VOC의 '10+5+5' 설정에서, 61.8% mAP를 달성하여 Seq-Fast(60.8%)를 능가하였으며, 순차적 학습에서의 강건성을 입증하였다.
• MS COCO에서 '40+40' 설정에서, mAP@0.5는 42.4%, mAP@[0.5:0.95]는 26.4%를 기록하여 Seq-Fast(37.4% 및 21.3%)를 능가하였으며, 우수한 일반화 능력을 보였다.
• 추론 속도는 6배 향상되어 단일 K80 GPU에서 3 fps를 달성하였으며, Seq-Fast의 0.5 fps 대비 빠른 성능을 기록하였다. 이는 더 적은 제안과 공유 특성 계산 덕분이었다.
• 제거 실험을 통해 PPAS가 기존 클래스 성능 향상에 뚜렷한 기여를 하였으며, PPAS 없이 정착만 수행한 기준 대비 mAP가 51.2% 향상되었다.