[논문 리뷰] A Strong and Reproducible Object Detector with Only Public Datasets

Tianhe Ren, Jianwei Yang외 7명|arXiv (Cornell University)|2023. 04. 25.

Advanced Neural Network Applications인용 수 4

한 줄 요약

이 논문은 Focal-Stable-DINO를 제안하며, 사전 훈련에 공개 데이터셋만 사용하고 테스트 시점 증강 없이 COCO val2017에서 64.6 AP, COCO test-dev에서 64.8 AP를 달성하는 강력하고 완전히 재현 가능한 객체 검출기이다. FocalNet-Huge 백본과 Stable-DINO 검출기의 조합을 통해 ImageNet-22K와 Objects365만을 사용하여 사전 훈련하며, 비공개 데이터나 복잡한 훈련 기법을 회피한다.

ABSTRACT

This work presents Focal-Stable-DINO, a strong and reproducible object detection model which achieves 64.6 AP on COCO val2017 and 64.8 AP on COCO test-dev using only 700M parameters without any test time augmentation. It explores the combination of the powerful FocalNet-Huge backbone with the effective Stable-DINO detector. Different from existing SOTA models that utilize an extensive number of parameters and complex training techniques on large-scale private data or merged data, our model is exclusively trained on the publicly available dataset Objects365, which ensures the reproducibility of our approach.

연구 동기 및 목표

• 비공개 데이터셋이나 복잡한 훈련 기법에 의존하지 않는 강력하면서도 완전히 재현 가능한 객체 검출 모델을 개발하는 것.
• Objects365와 COCO와 같은 공개 데이터셋을 사용하여 객체 검출 분야의 재현성 위기를 해결하는 것.
• 작고 혼잡한 객체와 같은 도전적인 객체 카테고리에서 강력하고 공개 가능한 파이프라인을 통해 검출 성능을 향상시키는 것.
• COCO에서의 주석 품질 문제, 예를 들어 레이블 누락 및 일관성 없는 표준화와 같은 문제점을 드러내어 모델 일반화 및 훈련 안정성에 영향을 미친다는 점을 지적하는 것.

제안 방법

• 강력한 특징 표현을 위해 ImageNet-22K에서만 사전 훈련된 FocalNet-Huge(689M 파라미터)를 백본으로 사용한다.
• Stable-DINO 검출기는 위치 기반 손실과 위치 조절 비용을 도입하여 디코더 레이어 전반에 걸친 훈련 안정성을 향상시킨다.
• 사전 훈련은 공개된 Objects365 데이터셋, 미세 조정은 COCO 데이터셋을 전적으로 사용하여 비공개 데이터를 전혀 사용하지 않는다.
• 마스크된 이미지 모델링이나 이미지-텍스트 대비 학습과 같은 복잡한 훈련 기법을 회피하여 단순성과 재현 가능성을 확보한다.
• 테스트 시점 증강 없이 표준적인 엔드 투 엔드 훈련 파이프라인, 표준 데이터 증강 및 표준 최적화를 사용한다.
• FocalNet과 Stable-DINO의 공개된 코드 및 가중치를 GitHub 레포지토리에서 활용하여 완전한 재현 가능성을 확보한다.

실험 결과

연구 질문

• RQ1 비공개 데이터셋이나 복잡한 사전 훈련 기법에 의존하지 않고도 공개 데이터셋만으로 강력한 객체 검출기를 구축할 수 있는가?
• RQ2 강력한 백본(FocalNet-Huge)과 안정적인 검출 헤드(Stable-DINO)를 조합할 경우 COCO에서 성능에 어떤 영향을 미치는가?
• RQ3 COCO의 주석 불일치 및 레이블 누락이 모델 훈련과 일반화에 어느 정도의 영향을 미치는가?
• RQ4 테스트 시점 증강 없이도 또는 대규모 데이터 정제 파이프라인 없이도 SOTA 성능을 달성할 수 있는가?
• RQ5 공개 데이터만을 사용할 경우, 특히 작은 객체와 혼잡한 객체에 대해 성능 격차는 어떻게 나타나는가?

주요 결과

• Focal-Stable-DINO는 COCO val2017에서 64.6 AP, COCO test-dev에서 64.8 AP를 기록하여 공개 데이터셋 전용으로 훈련된 모델 중 최고 성능을 달성했다.
• 비공개 데이터, 마스크된 이미지 모델링, 또는 복잡한 데이터 정제 파이프라인에 의존하는 기존 SOTA 모델들을 초월한다.
• 작은 객체와 혼잡한 객체 검출에서의 강건성을 시각화를 통해 입증하였으며, 빨간 화살표로 표시된 어려운 케이스에서 성능을 보였다.
• COCO에서 심각한 주석 문제를 규명하였으며, 사과와 같은 물체의 레이블 누락 및 바나나와 같은 물체의 일관성 없는 레이블링이 포함되어 있었다.
• 특히 작은 객체에 대해 객체 클래스 간 성능 격차가 여전히 크며, 검출 일반화에 대한 지속적인 과제임을 시사한다.
• 테스트 시점 증강 없이도 성공을 거둔 것은 모델의 강력한 인덕티브 바이어스와 일반화 능력을 확인하는 데 기여한다. 이는 표준 훈련 프로토콜에서도 효과를 발휘한다.