[논문 리뷰] Is Sampling Heuristics Necessary in Training Deep Object Detectors

Joya Chen, Dong Liu외 6명|arXiv (Cornell University)|2019. 09. 11.

Advanced Neural Network Applications참고 문헌 44인용 수 11

한 줄 요약

이 논문은 OHEM나 포칼 로스와 같은 히우리스틱 하드 또는 소프트 샘플링 방법이 필요 없는 딥 오브젝트 디텍터를 위한 샘플링 없는 훈련 기법을 제안한다. 유도 손실 스케일링, 최적의 모델 초기화, 적응형 임계값 설정을 통해 이 방법은 COCO 및 PASCAL VOC에서 일단-스테이지, 이단계, 다단계, 앵커리스 디텍터 전반에 걸쳐 훈련을 안정화시키고 하이퍼파라미터 튜닝 없이 정확도를 향상시킨다.

ABSTRACT

In training deep object detectors, the problem of foreground-background imbalance has been addressed by several heuristic methods, such as online hard example mining (OHEM), Focal Loss, and gradient harmonizing mechanism (GHM). These methods either re-sample the training examples (i.e. hard sampling), or re-weight them discriminatively (i.e. soft sampling). In this paper, we challenge the necessity of such hard/soft sampling heuristics in training deep object detectors. First, without hard/soft sampling, we reveal that the scale and the stability of the classification loss greatly influence the final accuracy. Thus, we propose a guided loss scaling technique to control the classification loss during training, without using any hyper-parameter. We also propose to optimally initialize the model to ensure the stability of the classification loss. Moreover, we propose an adaptive thresholding technique to refine predictions during inference. These three ingredients constitute our Sampling-Free mechanism, which is fully data diagnostic and avoids the laborious hyper-parameter search for hard/soft sampling. We verify the effectiveness of our Sampling-Free mechanism in training one-stage, two-stage, multi-stage, and anchor-free object detectors, where our method always achieves higher accuracy on COCO and PASCAL VOC datasets. We also use the Sampling-Free mechanism for instance segmentation to demonstrate its generalization ability. Code is released at: this https URL

연구 동기 및 목표

• OHEM, 포칼 로스, GHM과 같은 히우리스틱 샘플링 방법이 딥 오브젝트 디텍터 훈련에 필수적인가를 도전한다.
• 샘플링 히우리스틱이 제거된 상황에서 손실 스케일과 안정성이 검출 정확도에 미치는 영향을 규명한다.
• 하이퍼파라미터 튜닝이 필요 없고 훈련 안정성을 유지하는 샘플링 없는 훈련 기법을 제안한다.
• 일단-스테이지, 이단계, 다단계, 앵커리스 디텍터를 포함한 다양한 디텍터 아키텍처에 걸쳐 일반화 가능성을 입증한다.
• 이를 인스턴스 세그멘테이션으로 확장하여 더 넓은 적용 가능성을 검증한다.

제안 방법

• 훈련 중 분류 손실의 크기를 동적으로 제어하기 위해 유도 손실 스케일링을 제안하여 수동 하이퍼파라미터 튜닝이 필요 없도록 한다.
• 훈련 초반부터 분류 손실을 안정화시키기 위해 최적의 모델 초기화를 도입하여 훈련 변동성을 감소시킨다.
• 네트워크를 수정하지 않고도 추론 중에 적응형 임계값 설정 기법을 적용하여 오브젝트니스 예측을 정밀하게 조정한다.
• 히우리스틱 샘플링 전략이 아닌 내재된 데이터 통계에 기반한 완전히 데이터 진단 기반의 프레임워크를 설계한다.
• 손실 스케일링, 초기화, 추론 임계값 설정을 통합하여 통합된 샘플링 없는 기법을 구성한다.
• 백본 또는 넹 아키텍처를 수정하지 않고도 엔드 투 엔드 훈련 안정성과 성능 향상을 보장한다.

실험 결과

연구 질문

• RQ1 딥 오브젝트 디텍터 훈련에 히우리스틱 샘플링이 필수적인가, 아니면 이를 제거해도 성능을 달성할 수 있는가?
• RQ2 샘플링 히우리스틱이 제거된 상황에서 분류 손실의 스케일과 안정성은 검출 정확도에 어떤 영향을 미치는가?
• RQ3 샘플링 없는 훈련 기법이 다양한 오브젝트 디텍터 아키텍처에서 최신 기술 수준의 성능을 달성할 수 있는가?
• RQ4 제안된 방법은 오브젝트 디텍션을 초월해 인스턴스 세그멘테이션과 같은 다른 밀도 예측 작업으로 일반화 가능한가?
• RQ5 손실 가중치나 하드 예외 마이닝에 대한 광범위한 하이퍼파라미터 튜닝이 필요 없이 이 방법이 기능할 수 있는가?

주요 결과

• 제안된 샘플링 없는 기법은 COCO 및 PASCAL VOC 데이터셋에서 히우리스틱 샘플링 기반 기준 모델보다 높은 평균 정밀도를 달성한다.
• 모델의 하이퍼파라미터 튜닝 없이도 일단-스테이지, 이단계, 다단계, 앵커리스 오브젝트 디텍터 전반에 걸쳐 정확도가 향상된다.
• 유도 손실 스케일링은 하드 또는 소프트 샘플링 없이도 훈련을 효과적으로 안정화시키고 수렴을 향상시킨다.
• 최적의 초기화 방법은 훈련 불안정성을 크게 감소시키고 수렴 속도를 가속화한다.
• 추론 중 적응형 임계값 설정은 오브젝트니스 점수를 정밀하게 조정하여 검출 성능을 추가로 향상시킨다.
• 이 방법은 인스턴스 세그멘테이션으로도 일반화되어, 오브젝트 디텍션을 초월한 강건성과 넓은 적용 가능성을 입증한다.