[논문 리뷰] IoU-uniform R-CNN: Breaking Through the Limitations of RPN

Li Zhu, Zihao Xie외 3명|arXiv (Cornell University)|2019. 12. 11.

Advanced Neural Network Applications참고 문헌 35인용 수 9

한 줄 요약

이 논문은 두 단계 객체 검출기에서 훈련 불균형 문제를 완화하기 위해 RPN이 생성한 훈련 샘플을 인위적으로 진동시킨 균일 분포 IoU 샘플로 대체하는 IoU-Uniform R-CNN을 제안한다. 직접적으로 회귀 및 IoU 예측 브랜치를 위한 다양한 균일 분포 양성 샘플을 생성하고 추론 중 특징 오프셋을 제거함으로써 국소화 정확도와 NMS 성능을 향상시켜, PASCAL VOC 및 MS COCO에서 최신 기준 성능을 달성하며 기준 RPN 기반 훈련 대비 최대 2.0 AP 포인트 향상됨.

ABSTRACT

Region Proposal Network (RPN) is the cornerstone of two-stage object detectors, it generates a sparse set of object proposals and alleviates the extrem foregroundbackground class imbalance problem during training. However, we find that the potential of the detector has not been fully exploited due to the IoU distribution imbalance and inadequate quantity of the training samples generated by RPN. With the increasing intersection over union (IoU), the exponentially smaller numbers of positive samples would lead to the distribution skewed towards lower IoUs, which hinders the optimization of detector at high IoU levels. In this paper, to break through the limitations of RPN, we propose IoU-Uniform R-CNN, a simple but effective method that directly generates training samples with uniform IoU distribution for the regression branch as well as the IoU prediction branch. Besides, we improve the performance of IoU prediction branch by eliminating the feature offsets of RoIs at inference, which helps the NMS procedure by preserving accurately localized bounding box. Extensive experiments on the PASCAL VOC and MS COCO dataset show the effectiveness of our method, as well as its compatibility and adaptivity to many object detection architectures. The code is made publicly available at https://github.com/zl1994/IoU-Uniform-R-CNN,

연구 동기 및 목표

• 두 단계 검출기의 IoU 분포 불균형과 RPN이 생성한 훈련 샘플의 부족한 양성 샘플 수 문제를 해결하기 위해.
• 현재 방법들이 샘플 분포가 편향되어 있어 고 IoU 수준에서 성능이 열등한 점을 개선하기 위해.
• 추론 중 특징 오프셋 문제를 보정함으로써 비최대 억제(NMS)를 위한 IoU 예측의 신뢰성을 향상시키기 위해.
• 간단한 플러그인 설계를 통해 다양한 객체 검출 아키텍처 간의 보다 우수한 일반화 능력과 호환성을 확보하기 위해.

제안 방법

• 기본값에 대해 균일하게 분포된 양성 훈련 샘플을 생성하기 위해 RPN이 생성한 RoI를 실제 바운딩 박스 주변의 인위적인 진동 처리된 바운딩 박스로 대체함.
• 이러한 생성된 균일 분포 샘플을 사용하여 회귀 및 IoU 예측 브랜치를 훈련시켜 IoU 간격 간 손실 구성의 균형을 맞춤.
• 훈련 중 다양한 IoU 간격 간 기울기 균형을 향상시키기 위해 손실 가중 전략을 도입함.
• IoU 예측 브랜치에서 추론 중 RoI의 특징 오프셋을 제거하기 위해 정밀화된 바운딩 박스 좌표를 사용해 특징을 업데이트함.
• 표준 두 단계 검출기인 Faster R-CNN 및 Cascade R-CNN에 이 방법을 적용하여 호환성과 적응 가능성 입증함.
• 선형 스케일링 규칙 조정 및 분석 실험을 통해 최적 성능을 위한 학습률과 배치 크기 최적화함.

실험 결과

연구 질문

• RQ1 RPN이 생성한 훈련 샘플을 균일 분포 IoU 샘플로 대체하면 모든 IoU 수준에서 검출기 성능 향상이 가능한가?
• RQ2 추론 중 RoI에서 특징 오프셋을 제거하면 IoU 예측 정확도와 NMS 효과성이 향상되는가?
• RQ3 훈련 샘플의 분포가 회귀 손실 구성과 기울기 업데이트에 어떤 영향을 미치는가?
• RQ4 IoU-Uniform R-CNN은 PASCAL VOC 및 MS COCO와 같은 표준 벤치마크에서 얼마나 향상된 성능을 낼 수 있는가?
• RQ5 이 방법은 기존의 두 단계 검출 아키텍처와 얼마나 호환되는가?

주요 결과

• ResNet-50-FPN를 사용할 때 MS COCO에서 IoU-Uniform R-CNN은 55.1 mAP를 달성하여 RPN 기반 훈련 대비 2.0 포인트 향상됨.
• PASCAL VOC 2007에서 2장의 이미지당 GPU와 학습률 0.005 조건에서 54.42 mAP를 기록하여 기준 설정보다 뛰어남.
• 추론 중 특징 오프셋을 제거하면 mAP가 2.3 포인트 향상되며, 특히 생성된 균일 샘플을 사용할 경우 가장 큰 향상이 관찰됨.
• 특징 오프셋을 제거한 후 IoU 예측 브랜치의 정확도가 크게 향상되어 예측된 IoU와 실제 국소화 품질 간의 불일치가 감소함.
• 이 방법은 강력한 호환성과 적응 가능성을 보이며, 다양한 객체 검출 아키텍처에서 일관된 성능 향상을 제공함.
• 분석 실험을 통해 최적 설정은 GPU당 2장의 이미지와 학습률 0.005임을 확인하였으며, 이는 훈련 샘플 다양성 증가로 인해 표준 선형 스케일링 규칙을 초월함.