[논문 리뷰] Continual Universal Object Detection

Xialei Liu, Hao Yang외 3명|arXiv (Cornell University)|2020. 02. 13.

Advanced Neural Network Applications참고 문헌 17인용 수 7

한 줄 요약

이 논문은 다양한 도메인 간 순차적 학습 중 치명적인 잊음 현상을 완화하는 연속적 보편적 객체 검출 프레임워크를 제안한다. 하향식 및 상향식 주의 메커니즘을 활용한 주의 기반 특징 정규화와 적응형 예시 샘플링을 조합함으로써, 세 가지 도전적인 연속 학습 시나리오에서 일곱 개인 객체 검출 데이터셋에서 뛰어난 성능을 달성한다.

ABSTRACT

Object detection has improved significantly in recent years on multiple challenging benchmarks. However, most existing detectors are still domain-specific, where the models are trained and tested on a single domain. When adapting these detectors to new domains, they often suffer from catastrophic forgetting of previous knowledge. In this paper, we propose a continual object detector that can learn sequentially from different domains without forgetting. First, we explore learning the object detector continually in different scenarios across various domains and categories. Learning from the analysis, we propose attentive feature distillation leveraging both bottom-up and top-down attentions to mitigate forgetting. It takes advantage of attention to ignore the noisy background information and feature distillation to provide strong supervision. Finally, for the most challenging scenarios, we propose an adaptive exemplar sampling method to leverage exemplars from previous tasks for less forgetting effectively. The experimental results show the excellent performance of our proposed method in three different scenarios across seven different object detection datasets.

연구 동기 및 목표

• 다양한 도메인 간 순차적 학습에서 객체 검출기의 치명적인 잊음 현상을 해결하기 위해.
• 다양한 객체 카테고리와 도메인에 일반화할 수 있는 보편적 검출 프레임워크를 개발하기 위해.
• 주의 메커니즘과 예시 기반 지식 정규화를 활용해 연속 학습 중 지식 유지성을 향상시키기 위해.
• 도메인 이동과 개념 이동이 발생하는 도전적인 연속 학습 시나리오에서 방법의 성능을 평가하기 위해.

제안 방법

• 하향식 및 상향식 주의 메커니즘을 모두 활용해 배경 노이즈 특징을 억제하고 특징 지식 전달을 향상시키는 주의 기반 특징 정규화를 제안한다.
• 기존 작업의 지식을 유지하기 위해 새로운 작업 학습 중 강력한 감독으로 특징 정규화를 통합한다.
• 이전 작업의 대표적인 샘플을 동적으로 선택해 효과적인 지식 유지성을 위한 적응형 예시 샘플링 전략을 도입한다.
• 주의 메커니즘을 적용해 분류에 기여하는 특징에 집중하고 관련 없거나 노이즈가 많은 영역의 간섭을 줄인다.
• 특수 작업 재학습 없이도 여러 데이터셋과 도메인 간 연속 학습을 지원하는 통합 프레임워크를 설계한다.
• 기존 작업과 신규 작업의 표현 간 특징 정렬을 향상시키기 위해 이중 주의 메커니즘을 활용한다.

실험 결과

연구 질문

• RQ1 다양한 도메인 간 순차적 학습에서 치명적인 잊음 없이 객체 검출기를 지속적으로 훈련할 수 있는가?
• RQ2 하향식 및 상향식 주의 메커니즘이 연속 학습 중 잊음 감소에 어떤 역할을 하는가?
• RQ3 적응형 예시 샘플링 전략은 이전 작업의 지식 유지에 얼마나 효과적인가?
• RQ4 통합 검출기는 연속 학습 환경에서 다양한 객체 카테고리와 도메인에 일반화할 수 있는가?
• RQ5 여러 벤치마크에서 연속 객체 검출의 성능 한계는 무엇인가?

주요 결과

• 제안된 방법은 세 가지 연속 학습 시나리오에서 일곱 개인 객체 검출 데이터셋에서 최신 기술 수준의 성능을 달성한다.
• 주의 기반 특징 정규화가 관련 특징에 집중하고 배경 노이즈를 억제함으로써 잊음 현상을 크게 감소시킨다.
• 적응형 예시 샘플링 전략은 특히 도메인 이동이 발생하는 도전적인 상황에서 지식 유지에 기여한다.
• 모델은 모든 작업에서 높은 mAP를 유지하여 뛰어난 일반화 능력과 안정성을 입증한다.
• 평균 정확도와 잊음 감소 측면에서 기존 연속 학습 기반 방법들을 능가한다.
• 제거 실험을 통해 주의 메커니즘과 예시 샘플링 전략이 성능 저하를 최소화하는 데 효과적임을 확인한다.