[논문 리뷰] A Dual Weighting Label Assignment Scheme for Object Detection

Shuai Li, Chenhang He외 2명|arXiv (Cornell University)|2022. 03. 18.

Advanced Neural Network Applications인용 수 5

한 줄 요약

이 논문은 객체 검출을 위한 이중 가중치(DW) 레이블 할당 방식을 제안하며, 분류-로컬라이제이션 일致성과 샘플 중요도에 기반해 양성 및 부정 손실 가중치를 별도로 할당함으로써 검출기 성능을 크게 향상시킨다. 단일한 FCOS-ResNet-50 모델을 사용하여 1× 스케줄에서 COCO에서 41.5% mAP를 달성하며, 추가 구성 요소 없이도 기존 방법들을 크게 앞서며, 새로운 최고 성능을 기록한다.

ABSTRACT

Label assignment (LA), which aims to assign each training sample a positive (pos) and a negative (neg) loss weight, plays an important role in object detection. Existing LA methods mostly focus on the design of pos weighting function, while the neg weight is directly derived from the pos weight. Such a mechanism limits the learning capacity of detectors. In this paper, we explore a new weighting paradigm, termed dual weighting (DW), to specify pos and neg weights separately. We first identify the key influential factors of pos/neg weights by analyzing the evaluation metrics in object detection, and then design the pos and neg weighting functions based on them. Specifically, the pos weight of a sample is determined by the consistency degree between its classification and localization scores, while the neg weight is decomposed into two terms: the probability that it is a neg sample and its importance conditioned on being a neg sample. Such a weighting strategy offers greater flexibility to distinguish between important and less important samples, resulting in a more effective object detector. Equipped with the proposed DW method, a single FCOS-ResNet-50 detector can reach 41.5% mAP on COCO under 1x schedule, outperforming other existing LA methods. It consistently improves the baselines on COCO by a large margin under various backbones without bells and whistles. Code is available at https://github.com/strongwolf/DW.

연구 동기 및 목표

• 기존 레이블 할당 방법이 양성 및 부정 가중치를 결합함으로써 학습 능력에 제약을 둔다는 한계를 해결하기 위해.
• 양성 및 부정 샘플 중요도를 별도로 모델링함으로써 더 세밀한 감독을 가능하게 하여 검출기 성능을 향상시키기 위해.
• 분류 점수와 로컬라이제이션 점수 간의 일치성을 강조함으로써 평가 지표와 더 잘 일치하는 레이블 할당 전략을 개발하기 위해.
• 추가 모듈이나 복잡한 기능 없이도 다양한 백본과 검출 헤드 간의 일반화 능력을 향상시키기 위해.

제안 방법

• 양성 및 부정 손실 가중치를 분리함으로써 독립적인 최적화가 가능한 이중 가중치(DW) 프레임워크를 제안한다.
• 양성 가중치를 분류 점수와 회귀 점수 간의 일치성 함수로 정의하여 예측이 일치하는 앵커를 우선시한다.
• 부정 가중치를 두 개의 구성 요소로 분해한다: 해당 앵커가 부정 샘플일 확률과, 부정일 경우의 중요도.
• 회귀 맵 상에서 바운딩 박스를 직접 보정하는 박스 리파이닝 연산을 도입하여 로컬라이제이션 정확도를 향상시킨다.
• 예측 일치성을 기반으로 유사한 IoU 또는 분류 점수를 가진 앵커를 구분하는 동적 가중치 메커니즘을 사용한다.
• 양성 및 부정 가중치를 별도로 학습하는 손실 제작 방식을 채택하여 더 구분력 있는 감독을 가능하게 한다.

실험 결과

연구 질문

• RQ1 양성 및 부정 샘플 가중치를 분리함으로써 객체 검출의 레이블 할당을 어떻게 향상시킬 수 있는가?
• RQ2 객체 검출에서 양성 및 부정 샘플의 중요도에 가장 큰 영향을 미치는 요소는 무엇인가?
• RQ3 양성 및 부정 가중치를 별도로 모델링하면 다양한 백본과 검출 헤드 간의 일반화 능력 향상에 기여할 수 있는가?
• RQ4 분류 점수와 로컬라이제이션 점수 간의 일치성이 학습 효율성에 어떤 영향을 미치는가?
• RQ5 이중 가중치 방식은 모호하거나 쉬운 샘플의 영향을 줄이고, 어려운 샘플 학습을 향상시킬 수 있는가?

주요 결과

• 제안된 DW 방법은 단일한 FCOS-ResNet-50 검출기로 1× 스케줄에서 COCO에서 41.5% mAP를 달성하며, 새로운 최고 성능을 기록한다.
• DW는 ResNet-50, ResNet-101, ResNeXt-101-64x4d를 포함한 모든 백본 아키텍처에서 베이스라인 검출기를 크게 향상시키며, 추가 모듈 없이도 성능 향상을 이룬다.
• 박스 리파이닝을 적용한 DW는 ResNet-50 기반으로 COCO에서 42.2% mAP를 달성하여 성능을 더욱 향상시켰다.
• ResNeXt-101-64x4d 기반으로는 DW가 48.2% mAP를 기록하며, GFL보다 2.2점, VFL보다 0.7점 높게 기록했다.
• TOOD 헤드와 조합했을 때 DW는 49.8% mAP를 달성하며, TOOD를 1.5점 뛰어넘었으며, 이는 강력한 일반화 능력을 보여준다.
• 시각화 결과, GFL과 VFL이 유사한 IoU 또는 분류 점수를 가진 앵커에 거의 동일한 가중치를 할당하는 데 반해, DW는 이들을 구분하는 별도의 (양성, 부정) 가중치 쌍을 할당하는 것으로 나타났다.