[논문 리뷰] RODEO: Replay for Online Object Detection

Manoj Acharya, Tyler L. Hayes외 1명|arXiv (Cornell University)|2020. 08. 14.

Domain Adaptation and Few-Shot Learning참고 문헌 26인용 수 27

한 줄 요약

RODEO는 지속적 학습에서 치명적인 잊음 문제를 완화하기 위해 압축된 중위수 CNN 특징 재생을 사용하는 새로운 스트리밍 온라인 객체 검출 프레임워크를 소개한다. 고정 용량 버퍼에서 압축된 특징 표현을 저장하고 재생함으로써 RODEO는 PASCAL VOC 2007과 MS COCO에서 최신 기술 수준의 성능을 달성하며, 전체 오프라인 학습 대비 40배 빠른 속도를 기록한다.

ABSTRACT

Humans can incrementally learn to do new visual detection tasks, which is a huge challenge for today's computer vision systems. Incrementally trained deep learning models lack backwards transfer to previously seen classes and suffer from a phenomenon known as $"catastrophic forgetting."$ In this paper, we pioneer online streaming learning for object detection, where an agent must learn examples one at a time with severe memory and computational constraints. In object detection, a system must output all bounding boxes for an image with the correct label. Unlike earlier work, the system described in this paper can learn this task in an online manner with new classes being introduced over time. We achieve this capability by using a novel memory replay mechanism that efficiently replays entire scenes. We achieve state-of-the-art results on both the PASCAL VOC 2007 and MS COCO datasets.

연구 동기 및 목표

• 제한된 메모리와 계산 자원으로 점진적으로 새로운 클래스를 학습해야 하는 온라인 객체 검출 환경에서 치명적인 잊음 문제를 해결한다.
• 배치 업데이트나 다시 시작하는 데 의존하지 않고, 한 번에 하나의 이미지만 처리하는 진정한 스트리밍 학습을 가능하게 한다.
• 생물학적으로 영감을 얻은 재생 메커니즘을 개발하여 원본 이미지가 아닌 압축된 표현을 저장하고 재생함으로써 메모리 효율성을 향상시킨다.
• 점진적 학습 설정 하에서 PASCAL VOC 2007과 MS COCO에서 최신 기술 수준의 성능을 달성하며, 배치 기반 점진적 학습 방법을 능가한다.
• 로봇 플랫폼과 같은 임베디드 또는 자원 제약이 있는 장치에서 실시간 배포에 적합한 시스템을 설계한다.

제안 방법

• 고정된 특징 추출기(G)와 점진적으로 업데이트되는 유연한 검출기 헤드(F)로 구성된 이중 스트림 네트워크 아키텍처를 사용한다.
• 입력 이미지에서 중위수 CNN 특징을 추출하고, 이를 압축된 메모리 효율적인 표현으로 변환한다.
• 이러한 압축된 특징을 고정 용량의 메모리 버퍼에 저장하여 향후 재생을 위해 비축한다.
• 학습 중에는 현재 이미지의 특징과 버퍼에서 무작위로 선택한 저장된 특징의 하위 집합을 혼합하여 유연한 레이어를 업데이트한다.
• 재생된 특징을 재구성하기 위한 손실 함수를 적용하여 이전에 본 클래스에 대한 지식을 유지한다.
• 제한된 메모리 용량을 관리하기 위해 버퍼 교체 전략(예: 무작위, 클래스 균형, 또는 객체 수 기반)을 적용한다.

실험 결과

연구 질문

• RQ1 압축된 특징 기반의 메모리 효율적인 재생 메커니즘이 스트리밍 객체 검출에서 치명적인 잊음을 효과적으로 방지할 수 있는가?
• RQ2 배치 기반 점진적 학습과 비교할 때, 점진적 단일 샘플 학습 방식의 온라인 객체 검출은 정확도와 효율성 측면에서 어떻게 다른가?
• RQ3 중위수 특징을 사용하는 재생 메커니즘이 원본 이미지 재생이나 지식 증착보다 계속되는 객체 검출에서 더 나은 성능을 내는가?
• RQ4 다양한 버퍼 교체 전략이 메모리 제약 하에서 장기적인 모델 성능에 어떤 영향을 미치는가?
• RQ5 제안된 방법은 관계적 이해가 필요한 다중 모odal 검출 작업, 예를 들어 시각적 질의 검출(VQD)으로 확장될 수 있는가?

주요 결과

• RODEO는 점진적 학습 환경에서 PASCAL VOC 2007과 MS COCO에서 최신 기술 수준의 평균 정확도(mAP)를 달성하며, 기존의 배치 기반 점진적 학습 방법을 능가한다.
• RODEO는 전체 학습 시간을 오프라인 학습의 873시간에서 22시간으로 단축시켜 40배 빠른 속도를 기록하면서도 뛰어난 검출 정확도를 유지한다.
• 학습 시간이 더 빠른 피니튜닝 및 SLDA+Regress 기반 방법과 비교해도 mAP와 추론 효율성 측면에서 뚜렷한 우월성을 보였다.
• 원본 이미지 재생이나 지식 증착보다 압축된 중위수 특징 재생이 이전에 학습한 클래스의 지식을 더 효과적으로 유지하는 데 유리하다.
• 고정된 메모리 예산 하에서 40회의 점진적 학습 반복 동안도 강력한 성능 유지를 보이며, 치명적인 잊음에 대한 강건성을 입증했다.
• 이 프레임워크는 검출기 헤드를 언어 질의에 반응하도록 수정함으로써 다중 모달 작업, 예를 들어 시각적 질의 검출(VQD) 등으로 일반화하여 적용할 수 있다.