[논문 리뷰] AutoAssign: Differentiable Label Assignment for Dense Object Detection

Benjin Zhu, Jianfeng Wang외 5명|arXiv (Cornell University)|2020. 07. 07.

Advanced Neural Network Applications참고 문헌 29인용 수 194

한 줄 요약

AutoAssign는 밀집 객체 탐지를 위한 완전 미분 가능하고 appearance-인식 라벨 할당을 도입하여 두 가중 모듈(Center Weighting 및 Confidence Weighting)으로 공간 및 스케일 할당을 공동 최적화하고 MS COCO 및 다른 데이터셋에서 이전 샘플링 전략을 능가합니다.

ABSTRACT

Determining positive/negative samples for object detection is known as label assignment. Here we present an anchor-free detector named AutoAssign. It requires little human knowledge and achieves appearance-aware through a fully differentiable weighting mechanism. During training, to both satisfy the prior distribution of data and adapt to category characteristics, we present Center Weighting to adjust the category-specific prior distributions. To adapt to object appearances, Confidence Weighting is proposed to adjust the specific assign strategy of each instance. The two weighting modules are then combined to generate positive and negative weights to adjust each location's confidence. Extensive experiments on the MS COCO show that our method steadily surpasses other best sampling strategies by large margins with various backbones. Moreover, our best model achieves 52.1% AP, outperforming all existing one-stage detectors. Besides, experiments on other datasets, e.g., PASCAL VOC, Objects365, and WiderFace, demonstrate the broad applicability of AutoAssign.

연구 동기 및 목표

• 손으로 제작된 라벨 할당에 대한 의존성을 줄이고 양성/음성 샘플링을 완전히 데이터 주도적으로 만들기.
• 공간 중심 가중치를 위한 범주별 우선순위(센터 가중치) 개발로 다양한 객체 분포를 포착.
• 각 객체의 모양과 크기에 적응하기 위한 인스턴스 인식형 신뢰도 가중치 개발.
• 훈련 중 differentiable한 양성/음성 가중치 맵을 생성하기 위해 두 가중 모듈의 결합.
• MS COCO에서 최첨단 성능을 입증하고 데이터셋 간 강건성 입증

제안 방법

• 트레이닝 중 모든 FPN 레벨의 그라운드 트루스 박스 내부의 위치를 후보 양성 및 음성으로 간주하는 앵커 프리 탐지기 프레임워크를 채택합니다.
• Center Weighting: 카테고리별로 Gaussian-like 우선 분포 G(d|μ,σ)를 학습하여 각 카테고리에 대한 센터 우선 순위를 적응시키고 박스 중심까지의 다운스케일된 거리에 따라 정규화합니다.
• Confidence Weighting: 분류 신뢰도(암시적-객체성 분기 포함)와 위치 추정 신뢰도를 결합한 공동 신뢰도 P_i를 계산하고, 위치 추정 손실을 가능도(likelihood)로 변환하여 원활한 통합을 가능하게 합니다.
• 객체 영역 내에서 모든 후보 위치의 곱 C(P_i^+) (신뢰도)와 G(d_i)를 정규화하여 양성 가중치 w_i^+를 계산합니다.
• iou_i가 위치 i와 어떤 GT 박스와의 최대 IoU인 경우 1 - f(iou_i)을 사용하여 음성 가중치 w_i^-를 계산하고, 비객체 영역에 백그라운드를 강조하도록 합니다.
• 최종 손실은 L = -sum_n log(sum_{i in S_n} w_i^+ P_i^+) - sum_k log(1 - w_k^- P_k^-), 음성에 포컬 손실을 적용하고 추론 시에는 사용되지 않는 학습 중 미분 가능 가중화 메커니즘입니다.
• 주요 방정식에는 Gaussian 중심 가중치 G(d|μ,σ)와 P_i^+, P_i^-의 결합 신뢰도 형태 및 정규화/가중화 방식이 포함됩니다(방법론에 자세히 기술되어 있습니다).

실험 결과

연구 질문

• RQ1 완전히 데이터 주도적이고 미분 가능한 라벨 할당이 고정되거나 부분적으로 동적 샘플링 전략에 비해 탐지 성능을 개선할 수 있는가?
• RQ2 센터 가중치로의 범주별 priors와 인스턴스별 외관/적응성(Confidence Weighting)이 공간 및 스케일 할당을 최적화하는 방식에 어떤 상호 작용이 있는가?
• RQ3 제안된 가중치 프레임워크가 VOC, Objects365, WiderFace와 같은 분포가 다른 데이터셋에서도 하이퍼파라미터 튜닝 없이 일반화되는가?
• RQ4 Implicit-Objectness 분기가 노이즈 후보를 필터링하고 배경과의 분리를 개선하는 데 어떤 영향을 미치는가?
• RQ5 일반 백본과 함께 MS COCO 같은 표준 벤치마크에서 AutoAssign가 달성할 수 있는 상한 성능은 어느 정도인가?

주요 결과

AP	AP50	AP75	AP_S	AP_M	AP_L
52.1	69.6	58.0	33.9	54.0	64.0

• AutoAssign는 MS COCO에서 단일 단계 탐지기 중 최첨단 성능을 달성하며, 대표적인 최적 모델은 2x 일정 및 다중 스케일 테스트에서 COCO test-dev에서 52.1 AP를 달성합니다.
• Center Weighting은 중심 priors를 카테고리별 분포에 맞게 정렬하여 AP를 크게 향상시킵니다(객체 모양에 맞춰 priors가 이동하거나 늘어나는 경우 포함).
• Confidence Weighting은 물체의 모양과 크기에 따라 공간 위치를 적응적으로 가중하여 중심 priors만으로 얻은 것보다 AP를 추가로 증가시킵니다.
• Center Weighting과 Confidence Weighting의 결합은 최상위 성능(AutoAssign)을 제공하며, 앵커, IoU 임계값 또는 상위-k 샘플링에 의존하는 기존 방법보다 우수합니다.
• AutoAssign는 하이퍼파라미터 재조정 없이도 다양한 데이터셋(PASCAL VOC, Objects365, WiderFace)에서 강건한 일반화를 보여주며 이러한 분포에서 고정/부분적으로 동적 방법보다 우수합니다.