[논문 리뷰] Learning a Unified Sample Weighting Network for Object Detection

Qi Cai, Yingwei Pan외 4명|arXiv (Cornell University)|2020. 06. 11.

Advanced Neural Network Applications참고 문헌 27인용 수 4

한 줄 요약

이 논문은 분류 및 회귀 손실, IoU, 예측 점수의 불확실성을 모델링하여 객체 검출에서 작업별로 동적으로 표본 가중치를 예측하는 통합 표본 가중치 네트워크(SWN)를 제안한다. 이 방법은 추론 시간을 증가시키지 않으면서도 여러 한 단계 및 두 단계 검출기에서 정확도를 최대 1.8% 향상시킨다.

ABSTRACT

Region sampling or weighting is significantly important to the success of modern region-based object detectors. Unlike some previous works, which only focus on "hard" samples when optimizing the objective function, we argue that sample weighting should be data-dependent and task-dependent. The importance of a sample for the objective function optimization is determined by its uncertainties to both object classification and bounding box regression tasks. To this end, we devise a general loss function to cover most region-based object detectors with various sampling strategies, and then based on it we propose a unified sample weighting network to predict a sample's task weights. Our framework is simple yet effective. It leverages the samples' uncertainty distributions on classification loss, regression loss, IoU, and probability score, to predict sample weights. Our approach has several advantages: (i). It jointly learns sample weights for both classification and regression tasks, which differentiates it from most previous work. (ii). It is a data-driven process, so it avoids some manual parameter tuning. (iii). It can be effortlessly plugged into most object detectors and achieves noticeable performance improvements without affecting their inference time. Our approach has been thoroughly evaluated with recent object detection frameworks and it can consistently boost the detection accuracy. Code has been made available at \url{https://github.com/caiqi/sample-weighting-network}.

연구 동기 및 목표

• 정적 또는 하드 예제 전용 표본 가중치의 한계를 해결하기 위해 표본 중요도를 데이터 및 작업에 따라 의존적으로 만들기 위해.
• 분류 및 회귀 가중치를 별도로 다루지 않고 통합 프레임워크에서 공동 최적화하기 위해.
• 표본 가중치를 엔드 투 엔드로 데이터 기반 방식으로 학습시켜 수동 하이퍼파rameter 조정에 의존도를 줄이기 위해.
• 추론 속도를 유지하면서 다양한 검출기(한 단계 및 두 단계)에서 검출 성능을 향상시키기 위해.

제안 방법

• 이 방법은 분류 손실, 회귀 손실, IoU, 예측 점수를 입력으로 받아 분류 및 회귀 작업 모두에 대한 표본별 가중치를 예측하는 표본 가중치 네트워크(SWN)를 도입한다.
• 손실의 불확실성을 고려한 가중치를 사용하는 통합 손실 함수를 제안하며, 가우스 노이즈 모델을 활용해 불확실성을 추정한다.
• 손실의 학습된 로그 분산에서 유도된 미분 가능한 가중치 메커니즘을 사용하며, 가중치 붕괴를 방지하기 위한 정규화 항을 포함한다.
• 배치 단위 스무딩 전략을 적용하여 각 배치의 양성 및 음성 표본의 가중치 평균을 통해 훈련을 안정화시킨다.
• 기존 검출기인 Faster R-CNN, SSD, YOLO와 호환되며, 최소한의 아키텍처 변경으로 플러그 앤 플레이 방식을 구현한다.
• λ₁와 같은 하이퍼파rameter는 불확실성의 영향을 제어하며, 수동 조정 없이도 안정적인 최적화를 가능하게 한다.

실험 결과

연구 질문

• RQ1 표본 가중치를 고정되거나 하드 예제 중심 전략이 아닌, 데이터 기반 및 작업 기반으로 만들 수 있는가?
• RQ2 다중 작업 검출 프레임워크에서 분류 및 회귀 작업에 대한 최적의 가중치를 통합 네트워크가 동시에 학습할 수 있는가?
• RQ3 데이터 기반의 불확실성 기반 표본 가중치 메커니즘이 전통적인 하드 예제 마이닝 또는 포칼 손실보다 검출 정확도에서 뛰어나게 성능을 내는가?
• RQ4 제안된 방법이 다양한 백본 아키텍처와 검출 프레임워크에 얼마나 일반화되는가?
• RQ5 표본 가중치 네트워크는 다양한 초기화 및 훈련 동역학에 대해 얼마나 강인한가?

주요 결과

• 제안된 표본 가중치 네트워크는 ResNet-50 및 ResNeXt-101-32x4d 백본을 포함한 여러 검출기에서 MS COCO 및 Pascal VOC에서 최대 1.8% mAP의 일관된 성능 향상을 달성한다.
• 추론 시간을 증가시키지 않아 실시간 응용에 적합하다.
• 제거 분석 결과, 네트워크가 손실 크기 측면에서 '쉬운' 표본이라도 낮은 불확실성인 표본에 더 높은 가중치를 할당하는 것을 효과적으로 학습함을 확인했다.
• 손실이 감소함에 따라 가중치가 증가함을 관찰하여, 네트워크가 불확실성 기반 설계에 따라 쉬운, 낮은 불확실성 표본을 우선순위로 삼는다는 점을 확인했다.
• 다양한 가중치 초기화에 대해 강인하며, 여러 실행에서 평균 표본 가중치가 유사한 값으로 수렴함을 확인하여 안정적인 최적화를 보였다.
• 회귀 손실 분포 분석 결과, 네트워크가 고 IoU 표본에 더 높은 가중치를 할당함을 확인하여, 데이터 기반으로 정확한 국소화를 우선시한다는 점을 입증했다.