[논문 리뷰] Loss Rank Mining: A General Hard Example Mining Method for Real-time Detectors

Hao Yu, Zhaoning Zhang외 5명|arXiv (Cornell University)|2018. 04. 10.

Advanced Neural Network Applications인용 수 7

한 줄 요약

이 논문은 실시간 객체 검출기용 일반적인 하드 예외 마이닝 방법인 손실 순위 마이닝(Loss Rank Mining, LRM)을 제안한다. LRM은 최종 특징 맵의 손실 순위에 기반해 하드 예외를 선택하며, 영역 제안이나 손실 함수 수정 없이 작동한다. LRM은 배경에 의해 포화되는 전경 객체에 집중함으로써 KITTI에서 YOLOv2의 mAP를 5% 이상 향상시키고, PASCAL VOC에서 2% 향상시킨다.

ABSTRACT

Modern object detectors usually suffer from low accuracy issues, as foregrounds always drown in tons of backgrounds and become hard examples during training. Compared with those proposal-based ones, real-time detectors are in far more serious trouble since they renounce the use of region-proposing stage which is used to filter a majority of backgrounds for achieving real-time rates. Though foregrounds as hard examples are in urgent need of being mined from tons of backgrounds, a considerable number of state-of-the-art real-time detectors, like YOLO series, have yet to profit from existing hard example mining methods, as using these methods need detectors fit series of prerequisites. In this paper, we propose a general hard example mining method named Loss Rank Mining (LRM) to fill the gap. LRM is a general method for real-time detectors, as it utilizes the final feature map which exists in all real-time detectors to mine hard examples. By using LRM, some elements representing easy examples in final feature map are filtered and detectors are forced to concentrate on hard examples during training. Extensive experiments validate the effectiveness of our method. With our method, the improvements of YOLOv2 detector on auto-driving related dataset KITTI and more general dataset PASCAL VOC are over 5% and 2% mAP, respectively. In addition, LRM is the first hard example mining strategy which could fit YOLOv2 perfectly and make it better applied in series of real scenarios where both real-time rates and accurate detection are strongly demanded.

연구 동기 및 목표

• 실시간 객체 검출기용 일반적인 하드 예외 마이닝 방법이 부족한 문제를 해결하기 위해, 영역 제안이나 특정 손실 함수에 의존하지 않는 방법을 개발한다.
• 실생활 응용에서 널리 사용되지만 전경-배경 클래스 불균형 문제로 인해 정확도가 떨어지는 실시간 검출기(예: YOLOv2)의 정확도를 향상시키기 위해 노력한다.
• 기존 실시간 검출기의 아키텍처나 손실 함수를 수정하지 않고도 직접 적용 가능한 방법을 개발한다.
• 최종 특징 맵의 손실 순위가 훈련 중 하드 예외, 특히 전경 객체를 효과적으로 식별하고 우선순위를 정하는 데 유용하다는 것을 입증한다.

제안 방법

• LRM은 최종 특징 맵의 모든 예측을 손실 값 기준으로 내림차순으로 순위 매겨 하드 예외를 선별한다.
• 손실 값이 가장 높은 상위 N개의 예측만 역전파에 유지하여 쉽게 분류되는 예외(주로 배경)를 효과적으로 걸러낸다.
• 이 방법은 최종 검출 헤드 출력에 직접 적용되므로, 최종 특징 맵을 생성하는 모든 실시간 검출기에 적용 가능하다.
• 영역 제안이나 손실 함수 수정이 필요 없어, YOLOv2와 같은 기존 모델에 직접 통합할 수 있다.
• 선택된 하드 예외의 수(N)는 다양한 데이터셋과 NMS 설정에서 최적 성능을 내기 위해 조정되는 하이퍼파라미터이다.
• 손실 값이 높은 예측(일반적으로 잘못 분류되거나 정확도가 떨어지는 전경 객체)에 집중함으로써 LRM은 암묵적으로 전경 객체를 강조한다.

실험 결과

연구 질문

• RQ1 영역 제안이나 특정 손실 함수에 의존하지 않는 실시간 검출기용 일반적인 하드 예외 마이닝 방법을 개발할 수 있는가?
• RQ2 최종 특징 맵의 손실 순위가 YOLOv2와 같은 실시간 검출기의 정확도 향상에 얼마나 효과적인가?
• RQ3 원래 손실 함수를 수정하지 않고도 LRM이 Focal Loss와 같은 기존 방법을 초월할 수 있는가?
• RQ4 다양한 데이터셋과 NMS 임계값에서 역전파에 사용할 최적의 하드 예외 수(N)는 얼마인가?
• RQ5 LRM을 통해 쉬운 예외를 걸러내는 것이 일반화 성능 향상에 기여하는가, 아니면 정보 손실을 유발하는가?

주요 결과

• LRM은 KITTI 데이터셋에서 YOLOv2의 mAP를 5.05% 향상시켜 실시간 자율주행 응용 분야에서 의미 있는 성과를 달성했다.
• 더 일반적인 PASCAL VOC 데이터셋에서는 원본 모델 대비 YOLOv2의 mAP를 2.27% 향상시켜 77.40% mAP를 달성했다.
• Focal Loss와 비교했을 때, LRM은 YOLOv2의 원래 손실 함수를 수정하지 않아도 더 높은 성능을 달성했으며, 이는 모델 호환성 측면에서 큰 장점이다.
• 최적의 하드 예외 수(N)는 NMS 임계값에 따라 달라진다: 0.5와 1.0에서는 128이 최적이고, 0.7에서는 256이 최적이다. 이는 유지되는 중복 정보 때문일 수 있다.
• 클래스별 성능을 분석한 결과, LRM은 '고양이' 클래스의 mAP를 약 3% 정도 감소시켰지만, '개' 클래스의 mAP는 뚜렷한 감소를 보여, 하드 예외 선택에 따른 클래스별 민감도가 있음을 시사한다.
• 실험 결과, LRM는 YOLOv2에 직접 적용 가능한 첫 번째 일반적인 하드 예외 마이닝 방법이며, 이전 방법이 실패한 곳에서 YOLOv2의 정확도를 크게 향상시켰다.