[논문 리뷰] 3rd Continual Learning Workshop Challenge on Egocentric Category and Instance Level Object Understanding

Lorenzo Pellegrini, Chenchen Zhu외 8명|arXiv (Cornell University)|2022. 12. 13.

Domain Adaptation and Few-Shot Learning인용 수 7

한 줄 요약

이 논문은 컴퓨터 시각 분야에서 지속적 학습의 제3회 CLVision 워크숍 챌린지를 제시하며, 카테고리 수준 및 인스턴스 수준의 물체 이해를 평가하기 위해 EgoObjects 데이터셋을 사용한 대규모 이고세트릭스 물체 검출 벤치마크를 도입한다. 챌린지는 이전 데이터에 접근할 수 없는 상황에서 점진적인 경험을 거쳐도 치명적인 잊음 현상을 최소화하는 데 초점을 맞추었으며, 최상위 참가자들은 경험 균형형 리플레이와 디스티illation을 활용해 54.7 mAP의 성능을 달성했다.

ABSTRACT

Continual Learning, also known as Lifelong or Incremental Learning, has recently gained renewed interest among the Artificial Intelligence research community. Recent research efforts have quickly led to the design of novel algorithms able to reduce the impact of the catastrophic forgetting phenomenon in deep neural networks. Due to this surge of interest in the field, many competitions have been held in recent years, as they are an excellent opportunity to stimulate research in promising directions. This paper summarizes the ideas, design choices, rules, and results of the challenge held at the 3rd Continual Learning in Computer Vision (CLVision) Workshop at CVPR 2022. The focus of this competition is the complex continual object detection task, which is still underexplored in literature compared to classification tasks. The challenge is based on the challenge version of the novel EgoObjects dataset, a large-scale egocentric object dataset explicitly designed to benchmark continual learning algorithms for egocentric category-/instance-level object understanding, which covers more than 1k unique main objects and 250+ categories in around 100k video frames.

연구 동기 및 목표

• 실제 세계의 복잡한 환경을 반영한 이고세트릭스 물체 검출을 위한 대규모 벤치마크를 도입함으로써 컴퓨터 시각 분야에서 지속적 학습을 발전시키기 위해.
• 지속적 분류에 비해 덜 연구된 영역인 지속적 물체 검출을 촉진하기 위해.
• 대규모, 긴 꼬리형, 점진적인 물체 검출 작업에서 최첨단 지속적 학습 방법의 평가 및 비교를 위해.
• 실제 적용에 적합한 메모리 효율적이고 견고한 지속적 학습 솔루션 개발을 촉진하기 위해.

제안 방법

• 챌린지는 약 100만 프레임, 1,110개의 고유 물체, 250개 이상의 카테고리로 구성된 대규모 이고세트릭스 영상 데이터셋인 EgoObjects 데이터셋을 사용했다.
• 참가자들은 과거 데이터에 접근할 수 없는 상황에서 400개 이상의 경험을 거쳐 점진적으로 물체 검출기 모델을 학습시켰다.
• 평가에서는 mAP와 AP50 지표를 사용해 카테고리 수준 및 인스턴스 수준의 검출 성능을 중점적으로 평가했다.
• 최고 성능을 낸 방법들은 경험 균형형 리플레이 버퍼, 디스티illation 기법, COCO 또는 LVIS에서 미리 학습된 ResNet 기반 백본을 활용했다.
• 대회는 다중 트랙 구조를 사용했으며, 인스턴스 분류, 카테고리 검출, 인스턴스 검출을 별도로 운영했고, 최종 평가는 보류된 테스트 세트를 사용했다.
• 일반화 능력과 잊음 완화 능력이 평가되었으며, 점진적 학습 단계 전반에 걸쳐 성능이 측정되었다.

실험 결과

연구 질문

• RQ1 다양한 리플레이 전략(경험, 영상, 인스턴스 균형형)이 지속적 물체 검출 성능에 어떤 영향을 미치는가?
• RQ2 지속적 물체 검출에서 지식 디스티illation이 치명적인 잊음 현상을 얼마나 줄일 수 있는가?
• RQ3 기존의 검출 모델은 치명적인 잊음 없이 이고세트릭스 영상에서 긴 꼬리형, 점진적인 클래스 스트림에 일반화할 수 있는가?
• RQ4 실제 이고세트릭스 환경에서 다양한 지속적 학습 설정에서 mAP와 AP50와 같은 성능 지표는 어떻게 변하는가?
• RQ5 지속적 물체 검출에서 최고 성능을 내는 데 기여하는 주요 아키텍처 및 학습 설계 선택 사항은 무엇인가?

주요 결과

• 우승자(텐센트 유투 랩)는 경험 균형형 리플레이 버퍼와 지식 디스티illation을 활용해 54.7 mAP와 61.2 AP50의 성능을 기록했다.
• 2위 팀(NUS&A*STAR)는 Faster R-CNN과 ResNet50를 사용한 영상 균형형 리플레이 버퍼를 활용해 45.4 mAP와 56.0 AP50의 성능을 기록했다.
• 3위 제출자(앙헬로 메네즈)는 인스턴스 균형형 리플레이 버퍼와 FCOS, ResNet50를 사용해 41.7 mAP와 51.1 AP50의 성능을 기록했다.
• 모든 최상위 성능 모델은 전체 리플레이 버퍼를 활용했으며, 이는 지속적 검출에서 높은 성능을 내기 위해 필수적임을 시사한다.
• 상위 2개 팀은 모두 디스티illation 기법을 사용했으며, 이는 검출 헤드에서의 잊음 완화에 효과적임을 시사한다.
• 챌린지는 인스턴스 분류 트랙에 360건, 카테고리 검출 트랙에 105건, 인스턴스 검출 트랙에 53건의 유효한 제출을 받았으며, 이는 공동체의 높은 참여도를 반영한다.