[논문 리뷰] Localization Uncertainty Estimation for Anchor-Free Object Detection

Youngwan Lee, Joong‐won Hwang외 5명|arXiv (Cornell University)|2020. 06. 28.

Advanced Neural Network Applications인용 수 7

한 줄 요약

이 논문은 앵커리스 객체 검출을 위한 새로운 국소화 불확실성 추정 방법인 불확실성 인식 검출(UAD)을 제안한다. UAD는 왼쪽, 오른쪽, 위, 아래 방향의 오프셋에 대해 [0,1] 범위의 값으로 불확실성을 정량화한다. 부정적 거듭제곱 로그우도 손실과 불확실성 인식 포칼 손실을 도입함으로써, 계산 오버헤드 없이 COCO에서 FCOS의 성능을 최대 1.8 AP 향상시켰으며, 이는 안전이 중요한 응용 분야에서 더 신뢰할 수 있는 검출을 가능하게 한다.

ABSTRACT

Since many safety-critical systems, such as surgical robots and autonomous driving cars operate in unstable environments with sensor noise and incomplete data, it is desirable for object detectors to take the localization uncertainty into account. However, there are several limitations of the existing uncertainty estimation methods for anchor-based object detection. 1) They model the uncertainty of the heterogeneous object properties with different characteristics and scales, such as location (center point) and scale (width, height), which could be difficult to estimate. 2) They model box offsets as Gaussian distributions, which is not compatible with the ground truth bounding boxes that follow the Dirac delta distribution. 3) Since anchor-based methods are sensitive to anchor hyper-parameters, their localization uncertainty could also be highly sensitive to the choice of hyper-parameters. To tackle these limitations, we propose a new localization uncertainty estimation method called UAD for anchor-free object detection. Our method captures the uncertainty in four directions of box offsets (left, right, top, bottom) that are homogeneous, so that it can tell which direction is uncertain, and provide a quantitative value of uncertainty in [0, 1]. To enable such uncertainty estimation, we design a new uncertainty loss, negative power log-likelihood loss, to measure the localization uncertainty by weighting the likelihood loss by its IoU, which alleviates the model misspecification problem. Furthermore, we propose an uncertainty-aware focal loss for reflecting the estimated uncertainty to the classification score. Experimental results on COCO datasets demonstrate that our method significantly improves FCOS, by up to 1.8 points, without sacrificing computational efficiency.

연구 동기 및 목표

• 기존의 앵커팀 기반 객체 검출에서의 불확실성 추정 방법의 한계, 즉 모델 부적합성과 하이퍼파rameter에 대한 민감성 문제를 해결하기 위해.
• 앵커티스 검출기에서 명시적이고 방향성 있는 불확실성 추정을 가능하게 하여, 어느 경계 방향이 모호한지를 파악하기 위함이다.
• 각각의 네 개의 박스 오프셋(왼쪽, 오른쪽, 위, 아래)에 대해 [0,1] 범위의 정량적 불확실성 점수를 제공함으로써 검출 신뢰도를 향상시키기 위함이다.
• 불확실성 인식 포칼 손실을 통해 분류에 불확실성 추정을 통합함으로써 NMS 순위 매기기와 검출 품질을 향상시키기 위함이다.
• 계산 비용을 증가시키지 않으면서 성능 향상을 달성하여 실시간 시스템에 실용적으로 구현 가능하게 하기 위함이다.

제안 방법

• 왼쪽, 오른쪽, 위, 아래 오프셋을 독립적으로 정규분포로 모델링하는 4방향 불확실성 추정 프레임워크를 제안한다.
• IoU로 가중된 로그우도 손실을 통해 딜타 함수와 정규분포 간의 모델 부적합성을 완화하기 위해 부정적 거듭제곱 로그우도 손실을 도입한다.
• 각 방향에 대한 불확실성 점수를 예측하기 위한 확실성 표현 네트워크를 설계하여 [0,1] 범위 내에서 정량적 불확실성 추정을 가능하게 한다.
• 예측된 불확실성을 분류 점수에 통합하여 NMS 동안 객체 순위를 향상시키는 불확실성 인식 포칼 손실을 개발한다.
• 분류, 박스 오프셋, 방향성 불확실성을 동시에 예측하는 다중작업 헤드를 통해 모델을 엔드 투 엔드로 훈련시킨다.
• ResNeXt 백본을 사용하고 COCO에서 성능 향상과 아키텍처 간의 강건성을 검증한다.

실험 결과

연구 질문

• RQ1 네 개의 박스 오프셋(왼쪽, 오른쪽, 위, 아래)에 대한 방향성 불확실성 추정이 앵커티스 검출에서 국소화 신뢰도를 향상시킬 수 있는가?
• RQ2 IoU로 가중된 부정적 거듭제곱 로그우도 손실이 표준 부정적 로그우도 손실에 비해 모델 부적합성을 감소시키는가?
• RQ3 불확실성 인식 분류가 추가 추론 비용 없이도 NMS 순위 매기기와 전체 검출 성능을 향상시킬 수 있는가?
• RQ4 UAD는 특히 더 깊은 아키텍처인 ResNeXt-101과 같은 다양한 백본 아키텍처에서 어떻게 성능을 발휘하는가?
• RQ5 [0,1] 범위의 추정 불확실성 값이 모호하거나 가림을 입은 객체 경계를 효과적으로 나타내는가?

주요 결과

• ResNeXt-101-32x8d-DCN 백본을 사용할 때 UAD는 계산 오버헤드 없이 COCO에서 FCOS의 성능을 +1.8 AP 향상시켰다.
• UAD는 ResNeXt-101-32x8d에서 +1.3 AP, ResNeXt-101-64x4d에서 +1.4 AP의 일관된 성능 향상을 달성했다.
• 물체의 하체가 물에 의해 가려지거나 나무 가지로 부분적으로 가려진 경우와 같이 모호하거나 가려진 경계에서는 낮은 확실성 점수(C_B: 22%)를 예측한다.
• 불확실성 인식 포칼 손실은 분류 점수의 校정을 향상시켜 NMS에서 더 나은 객체 순위 매기기를 가능하게 한다.
• ResNeXt-101-32x8d-DCN 백본을 사용할 때 GFL보다 UAD가 AP 측면에서 더 우수한 성능(48.4 vs. 48.2 AP)을 보였으며, GFL은 더 복잡한 샘플링 전략을 사용하고 있음에도 불구하고.
• 제안된 불확실성 추정은 방향성 모호성을 효과적으로 포착한다. 예를 들어, TV에 앉은 여성의 몸통이 고양이 尾 꼬리에 의해 부분적으로 가려져 있을 경우 오른쪽 방향 확실성(C_R: 1%)이 낮게 나타난다.