[논문 리뷰] Rank of Experts: Detection Network Ensemble

Seung‐Hwan Bae, Youngwan Lee외 3명|arXiv (Cornell University)|2017. 12. 01.

Advanced Neural Network Applications참고 문헌 37인용 수 5

한 줄 요약

이 논문은 평균 정밀도 순위 기반으로 각 객체 클래스별로 최고 성능을 내는 검출기들을 선별하고 조합하는 클래스별 앙상블 방법인 Rank of Experts를 제안한다. 공동 학습 없이도 개발되었으며, ILSVRC 2017 검출 경쟁에서 2등을 차지하여 PASCAL VOC 및 ILSVRC 데이터셋에서 mAP를 4–5% 향상시켰다.

ABSTRACT

The recent advances of convolutional detectors show impressive performance improvement for large scale object detection. However, in general, the detection performance usually decreases as the object classes to be detected increases, and it is a practically challenging problem to train a dominant model for all classes due to the limitations of detection models and datasets. In most cases, therefore, there are distinct performance differences of the modern convolutional detectors for each object class detection. In this paper, in order to build an ensemble detector for large scale object detection, we present a conceptually simple but very effective class-wise ensemble detection which is named as Rank of Experts. We first decompose an intractable problem of finding the best detections for all object classes into small subproblems of finding the best ones for each object class. We then solve the detection problem by ranking detectors in order of the average precision rate for each class, and then aggregate the responses of the top ranked detectors (i.e. experts) for class-wise ensemble detection. The main benefit of our method is easy to implement and does not require any joint training of experts for ensemble. Based on the proposed Rank of Experts, we won the 2nd place in the ILSVRC 2017 object detection competition.

연구 동기 및 목표

• 대규모 검출에서 객체 클래스 수가 증가함에 따라 성능 저하 문제를 해결한다.
• 전반적인 mAP는 높지만 특정 클래스에서 성능이 떨어지는 단일 모델 검출기의 한계를 극복한다.
• 공동 학습이 필요 없이 효율적인 앙상블 전략을 개발하여 클래스별 검출 정확도를 향상시킨다.
• 전체 mAP가 아닌 각 클래스별 강점에 기반해 검출기를 선택적으로 조합할 수 있도록 한다.

제안 방법

• 다양한 특징 추출기(ResNet, VGG, WRI-Net)와 메타 아키텍처(Faster R-CNN, SSD, DSSD)를 사용해 다양성 있는 검출기 풀을 구성한다.
• 각 검출기가 각 객체 클래스에서 평균 정밀도(AP)를 계산하여, 클래스별 검출기 성능 순위 행렬을 구축한다.
• 각 객체 클래스에 대해 AP 점수 기반으로 상위-k개의 검출기(전문가)를 선택하며, 앙상블 크기를 제어하기 위해 설정 가능한 임계값 δ를 사용한다.
• 각 클래스별 상위 랭king 검출기의 검출 결과를 비최대 억제(NMS) 및 소프트-NMS를 통해 통합하여 최종 예측을 도출한다.
• 중복을 방지하기 위해 유사도 기반의 정렬 전략을 적용하여 선택된 전문가 앙상블의 다양성을 확보한다.
• 재학습 없이도 다중 스케일 테스트와 소프트-NMS를 적용하여 검출 품질을 추가로 향상시킨다.

실험 결과

연구 질문

• RQ1 클래스별 앙상블 전략이 단일 모델 검출기와 비교해 다양한 객체 클래스에서 검출 성능을 크게 향상시킬 수 있는가?
• RQ2 각 클래스별 평균 정밀도로 검출기를 순위 매기는 것이 전체 mAP를 선택 기준으로 사용하는 것보다 더 나은 앙상블 성능을 이끌 수 있는가?
• RQ3 공동 학습이나 미세조정 없이도 효율적인 앙상블 방법이 유의미하게 성능 향상에 기여할 수 있는가, 동시에 계산 효율성도 유지할 수 있는가?
• RQ4 각 클래스별로 선택된 전문가 수(δ로 제어)가 전체 mAP와 앙상블의 안정성에 어떤 영향을 미치는가?
• RQ5 기존의 그레디티브 mAP 기반 선택 또는 모델 유니온 전략과 비교해 제안된 방법이 얼마나 뛰어난가?

주요 결과

• Rank of Experts 앙상블은 ILSVRC 2017 검증 세트에서 최고의 단일 검출기 대비 mAP를 4.15% 향상시켰다.
• PASCAL VOC 2007 및 2012에서 이 방법은 기준 검출기 대비 4%의 mAP 향상을 달성했다.
• 이 방법은 ILSVRC 2017 객체 검출 경쟁에서 2등을 차지하여, 여러 상위 팀보다 클래스별 검출에서 뛰어난 성능을 보였다.
• 최적의 δ 값은 0.03로 확인되었으며, 이로 인해 PASCAL VOC에서 81.24%의 mAP, ILSVRC에서 62.54%의 mAP를 기록했고, δ 값에 따른 성능 변동이 최소한이었다.
• 특히 대규모 검출에서 기존의 Google [14] 앙상블 방법보다도 더 높은 mAP를 달성했다.
• 실행 속도는 PASCAL VOC에서 약 140 FPS, ILSVRC에서 약 9.37 FPS였으며, 소프트-NMS가 주요 성능 저하 원인이었다.