[논문 리뷰] End-to-end training of object class detectors for mean average precision

Paul Henderson, Vittorio Ferrari|arXiv (Cornell University)|2016. 07. 12.

Domain Adaptation and Few-Shot Learning참고 문헌 24인용 수 11

한 줄 요약

이 논문은 훈련 중에 비최대 억제(NMS)를 포함하여 평균 평균 정밀도(mAP)를 손실 함수로 사용하여 CNN 기반 객체 검출기의 엔드 투 엔드 훈련을 제안한다. mAP에 NMS를 통한 역전파를 가능하게 하기 위해 조각별로 일정한 함수에 대한 새로운 가짜 기울기 추정기(faux-gradient estimators)를 도입하여, 표준 Fast R-CNN과 동등한 성능을 달성하면서도 훈련과 추론 시 동일한 목표를 확보한다.

ABSTRACT

We present a method for training CNN-based object class detectors directly using mean average precision (mAP) as the training loss, in a truly end-to-end fashion that includes non-maximum suppression (NMS) at training time. This contrasts with the traditional approach of training a CNN for a window classification loss, then applying NMS only at test time, when mAP is used as the evaluation metric in place of classification accuracy. However, mAP following NMS forms a piecewise-constant structured loss over thousands of windows, with gradients that do not convey useful information for gradient descent. Hence, we define new, general gradient-like quantities for piecewise constant functions, which have wide applicability. We describe how to calculate these efficiently for mAP following NMS, enabling to train a detector based on Fast R-CNN directly for mAP. This model achieves equivalent performance to the standard Fast R-CNN on the PASCAL VOC 2007 and 2012 datasets, while being conceptually more appealing as the very same model and loss are used at both training and test time.

연구 동기 및 목표

• 훈련 시 창문 분류 정확도를 기준으로 하고 평가 시 mAP를 사용하는 간극을 해결하기 위해.
• NMS와 mAP를 훈련 목표로 포함하여 객체 검출기의 진정된 엔드 투 엔드 훈련을 가능하게 하기 위해.
• 비가역적이고 조각별로 일정한 mAP를 NMS와 함께 최적화하는 데 어려움을 해결하기 위해, 새로운 기울기 유사 양상(gradient-like quantities)을 정의하기 위해.
• 기존 딥 러닝 프레임워크와 호환되며, 고비용의 max-oracle 계산이 필요하지 않은 방법을 개발하기 위해.

제안 방법

• 조각별로 일정한 함수에 대해 mAP의 기울기를 근사하기 위한 두 가지 가짜 기울기 추정기—MEE(Mean of Expected Edits)와 SDE(Score Difference Estimator)—를 제안한다.
• NMS 이후 검출 결과에 대해 mAP를 계산하는 가역적(mAP) 손실 레이어를 도입하여 전체 검출 파이프라인을 통한 역전파를 가능하게 한다.
• 이 방법을 Fast R-CNN 프레임워크 내에 적용하여, mAP를 손실 함수로 사용하여 확률적 경사 하강법을 통해 전체 검출기를 엔드 투 엔드로 훈련한다.
• NMS를 훈련 중에 적용하여 모델이 최종 평가 지표를 최적화하도록 유도하고, 억제의 국소적이지 않은 영향까지 학습하도록 한다.
• 원시 mAP 기울기가 희박하고 고분산이므로 훈련을 안정화시키기 위해 점수 정규화와 기울기 클리핑을 사용한다.
• 기존 딥 러닝 프레임워크(Caffe 등)에 쉽게 통합할 수 있도록 설계하여 최적화 알고리즘에 대한 수정이 필요 없도록 한다.

실험 결과

연구 질문

• RQ1 NMS를 훈련 과정에 포함하여 mAP를 직접 최적화할 수 있는가, 아니면 테스트 시에만 NMS를 적용하는가?
• RQ2 표준 역전파가 실패하는 상황에서, NMS 이후의 조각별로 일정한 mAP 손실에 대해 기울기를 어떻게 근사할 수 있는가?
• RQ3 NMS를 포함한 mAP에 대한 엔드 투 엔드 훈련이 창문 분류 정확도를 위한 표준 훈련과 동등한 성능을 낼 수 있는가?
• RQ4 제안된 가짜 기울기 추정기들이 정보 검색 등에서 사용되는 다른 조각별로 일정한 손실에도 일반화될 수 있는가?
• RQ5 실제로 이 방법은 안정적이고 확장 가능하며, 고비용의 max-oracle 계산이 필요 없는가?

주요 결과

• 제안된 방법은 PASCAL VOC 2007 및 2012 데이터셋에서 mAP와 NMS를 함께 훈련할 경우 표준 Fast R-CNN과 동등한 mAP 성능을 달성한다.
• 모든 실험에서 MEE 가짜 기울기 추정기가 SDE를 약간 앞서며, 특히 점수 거리 변화에 대한 강건성 덕분이다.
• VGG16 모델이 AlexNet 모델보다 우수한 성능을 보이며, mAP로 훈련할 경우 더 깊은 아키텍처의 이점이 확인된다.
• 제거 분석(ablation studies) 결과, 전경 샘플링 비율, 배치 크기, 점수 정규화, 기울기 클리핑 등의 핵심 훈련 수정 조치들이 안정적인 훈련에 필수적임을 보여준다.
• 기울기 클리핑 또는 점수 정규화 없이 훈련할 경우, 기울기가 수치적으로 불안정해지고 점수 폭발이 발생하여 훈련이 실패한다.
• 이전의 작업(Song 등 [19])에 비해 훈련 안정성과 일반성 면에서 뛰어나며, 클래스별 모델이나 max-oracle 계산이 필요 없음을 확인했다.