[논문 리뷰] Few-Shot Learning for Road Object Detection

Anay Majee, Kshitij Agrawal외 1명|arXiv (Cornell University)|2021. 01. 29.

Domain Adaptation and Few-Shot Learning참고 문헌 29인용 수 13

한 줄 요약

이 논문은 인도 주행 데이터셋(IDD)을 사용하여 실생활 주행 환경에서 소수의 예시를 활용한 객체 검출 프레임워크를 제안하며, 메트릭 학습(FsDet)과 메타 학습 접근법을 비교한다. 동일 도메인 분할에서는 메트릭 학습이 메타 학습보다 11.2 mAP 포인트 높고, 오픈 세트 분할에서는 1.0 mAP 포인트 높은 성능을 보이며, 낮은 데이터, 클래스 불균형이 있는 도로 객체 검출에서의 우수성을 입증한다.

ABSTRACT

Few-shot learning is a problem of high interest in the evolution of deep learning. In this work, we consider the problem of few-shot object detection (FSOD) in a real-world, class-imbalanced scenario. For our experiments, we utilize the India Driving Dataset (IDD), as it includes a class of less-occurring road objects in the image dataset and hence provides a setup suitable for few-shot learning. We evaluate both metric-learning and meta-learning based FSOD methods, in two experimental settings: (i) representative (same-domain) splits from IDD, that evaluates the ability of a model to learn in the context of road images, and (ii) object classes with less-occurring object samples, similar to the open-set setting in real-world. From our experiments, we demonstrate that the metric-learning method outperforms meta-learning on the novel classes by (i) 11.2 mAP points on the same domain, and (ii) 1.0 mAP point on the open-set. We also show that our extension of object classes in a real-world open dataset offers a rich ground for few-shot learning studies.

연구 동기 및 목표

• 제한된 레이블이 부여된 데이터를 바탕으로 클래스 불균형이 심한 실생활 주행 시나리오에서 소수의 예시 객체 검출 문제를 해결한다.
• 인도 주행 데이터셋(IDD)을 사용하여 실재적인 환경에서의 동일 도메인 및 오픈 세트 시나리오를 포함한 소수의 예시 학습 방법을 평가한다.
• 소수의 예시 학습에 적합한 벤치마크로 사용하기 위해, 부족한 차량 유형을 재분류하여 IDD 데이터셋을 확장한다.
• 소수의 학습 샘플만으로 희귀 도로 객체를 검출하는 데 있어 메트릭 학습과 메타 학습 접근법의 성능을 비교한다.
• 자율 주행 응용 분야에서 소수의 예시 검출에 있어 클래스 혼동과 치명적인 기억 상실의 영향을 조사한다.

제안 방법

• ‘차량 후퇴’ 클래스를 새롭고 빈도가 낮은 객체 카테고리로 재분류하여 스트리트 카트, 트랙터, 물 탱크 등으로 구성된 새로운 객체 유형을 포함한 인도 주행 데이터셋(IDD)을 활용한다.
• 특징 피라미드 네트워크(FPN)와 코사인 기반 유사도를 사용한 특징 매칭을 통해 ResNet-101 백본을 사용하는 메트릭 학습 기반 방법 FsDet를 구현한다.
• 에피소드 기반 훈련을 사용하여 N-웨이, K-샷 설정에서 지원 세트와 쿼리 세트를 활용하는 메타 학습 기반 방법들인 Meta-RCNN, Meta-Reweight, Add-Info를 적용한다.
• 모든 모델을 두 단계로 훈련한다: 10개의 기본 클래스에 대해 1개 클래스당 2000장의 이미지로 기본 훈련을 수행한 후, 10-샷 샘플을 사용하여 새로운 클래스에 대해 미세조정한다.
• 모든 백본에 대해 표준 데이터 증강(수평 뒤집기, 무작위 자르기)과 사전 학습된 ImageNet 가중치를 사용한다.
• 검증 분할에서 mAP@50를 사용하여 성능을 평가하며, IDD-10(동일 도메인) 및 IDD-OS(오픈 세트) 분할(기본 클래스 10개, 새로운 클래스 4개)을 포함한다.

실험 결과

연구 질문

• RQ1 클래스 불균형이 있는 실생활 주행 데이터셋에서 메트릭 학습과 메타 학습 방법의 소수의 예시 객체 검출 성능는 어떻게 비교되는가?
• RQ2 희귀이고 빈도가 낮은 도로 객체 유형으로의 적응 과정에서 기본 클래스 성능이 떨어지는가?
• RQ3 비슷한 외관을 가진 도로 객체들(예: 트럭 대비 자동차, 자전거 대비 오토바이) 간의 클래스 혼동은 소수의 예시 검출 성능에 얼마나 큰 영향을 미치는가?
• RQ4 확장된 클래스 레이블을 가진 실생활 오픈 세트 데이터셋인 IDD는 소수의 예시 객체 검출 연구에 실용적인 벤치마크로 활용될 수 있는가?
• RQ5 자율 주행 환경에서 새로운 클래스 검출 정확도에 있어 특징 유사도 학습과 메타 최적화의 영향은 어떠한가?

주요 결과

• 동일 도메인 분할인 IDD-10에서 메트릭 학습 기반 FsDet 모델이 메타 학습 방법보다 새로운 클래스 검출에서 11.2 mAP 포인트 높은 성능을 보였다.
• 오픈 세트 분할인 IDD-OS에서 FsDet는 메타 학습 기반 모델보다 새로운 클래스에서 1.0 mAP 포인트 높은 성능을 기록하여 일관된 우수성을 입증했다.
• Meta-RCNN 및 Add-Info와 같은 메타 학습 모델은 기본 클래스 성능이 심각하게 저하되었으며(최대 15% 감소), 반면 FsDet는 안정적인 기본 클래스 mAP를 유지했다.
• 클래스 혼동은 주요 과제였다: 트럭 대비 자동차, 물 탱크 대비 자동차 등 시각적으로 유사한 클래스 간 예측의 약 40%가 잘못 분류되었다.
• 예측 헤드에 추가 기능을 사용할 경우 메타 학습 모델의 성능 저하가 감소했으며, 이는 아키텍처 설계가 안정성에 영향을 미칠 수 있음을 시사한다.
• 4개의 새로운 클래스를 포함한 확장된 IDD-OS 데이터셋은 향후 자율 주행 분야의 소수의 예시 학습 연구에 실용적이고 현실적인 오픈 세트 벤치마크로 적합하다.