[논문 리뷰] On Model Calibration for Long-Tailed Object Detection and Instance Segmentation

Tai-Yu Pan, Cheng Zhang외 6명|arXiv (Cornell University)|2021. 07. 05.

Advanced Neural Network Applications참고 문헌 69인용 수 27

한 줄 요약

NorCal은 학습 샘플 크기로 클래스별 점수를 재가중하고 클래스 간 점수를 정규화하는 사후 보정 방법을 도입하여 재학습 없이도 긴 꼬리 LVIS에서 성능을 향상시킨다.

ABSTRACT

Vanilla models for object detection and instance segmentation suffer from the heavy bias toward detecting frequent objects in the long-tailed setting. Existing methods address this issue mostly during training, e.g., by re-sampling or re-weighting. In this paper, we investigate a largely overlooked approach -- post-processing calibration of confidence scores. We propose NorCal, Normalized Calibration for long-tailed object detection and instance segmentation, a simple and straightforward recipe that reweighs the predicted scores of each class by its training sample size. We show that separately handling the background class and normalizing the scores over classes for each proposal are keys to achieving superior performance. On the LVIS dataset, NorCal can effectively improve nearly all the baseline models not only on rare classes but also on common and frequent classes. Finally, we conduct extensive analysis and ablation studies to offer insights into various modeling choices and mechanisms of our approach. Our code is publicly available at https://github.com/tydpan/NorCal/.

연구 동기 및 목표

• 훈련 시점 기술을 넘어 객체 탐지와 인스턴스 분할에서의 긴 꼬리 편향을 동기 부여하고 해결한다.
• 사전 학습된 탐지기에 작동하는 간단하고 모델에 의존하지 않는 사후 처리 보정 방법(NorCal)을 제안한다.
• 클래스 간 점수 정규화와 클래스 크기에 따른 재가중화를 결합하면 LVIS의 희귀, 일반, 자주 등장하는 클래스에 걸쳐 탐지 및 분할 성능이 향상됨을 보여준다.
• NorCal이 AP와 AP Fixed 지표를 모두 향상시킬 수 있으며, 이는 자주 등장하는 클래스의 성능 손실 없이 각 클래스 내 순위가 개선됨을 시사한다.

제안 방법

• 사전 학습된 탐지기의 분류 서브 네트워크에 사후 처리 보정을 적용한다.
• 전경(전경 클래스) 각 클래스의 로그 확률(logit)을 클래스 학습 크기 N_c에 의존하는 인자 a_c로 재조정하며, a_c = N_c^gamma 로 단일 하이퍼파라미터 gamma를 사용한다.
• 분류 확률을 전경 vs 배경을 각각 모델링하도록 분해하되, 배경 로그잇은 그대로 유지한다.
• 모든 전경 클래스에 걸쳐 조정된 점수를 정규화하고(분모에 배경을 포함) 각 클래스 내에서 제안들을 재정렬한다.
• 정규화의 어려움을 주의하면서, 필요시 NorCal을 다중 이진 시그모이드 분류기에 확장하여 로짓이 아닌 지수나 확률을 보정한다.
• 하이퍼파라미터 하나만으로 학습 데이터에서 gamma를 조정하고, 별도의 홀드아웃 검증 세트가 필요하지 않다.

실험 결과

연구 질문

• RQ1 학습 세트의 클래스 빈도에 따라 조정된 클래스 신뢰도에 대한 사후 처리 보정이 긴 꼬리 탐지기에서 머리 부분 편향(head-biased) 예측을 줄일 수 있는가?
• RQ2 모든 클래스에 걸쳐 보정된 점수를 정규화하고 배경 클래스를 올바르게 처리하는 것이 LVIS에서 희귀, 일반, 자주 등장하는 클래스의 순위 및 지표를 개선하는가?
• RQ3 NorCal은 소프트맥스와 다중 이진 분류기가 있는 탐지기에 대해 모델에 독립적이고 효과적인가?
• RQ4 다양한 LVIS 기반 작업에서 견고성과 성능 측면에서 기존의 사후 보정 방법과 NorCal의 비교는 어떠한가?

주요 결과

• NorCal은 LVIS v1에서 희귀, 일반, 자주 등장하는 클래스 모두에 대해 물체 탐지와 인스턴스 분할의 기준선 탐지기를 일관되게 향상시킨다.
• 클래스 간 점수 정규화가 결정적이다; 정규화 없이는 희귀 클래스의 이득이 실현되지 않으며 자주 등장하는 클래스의 성능이 하락할 수 있다.
• 단일 하이퍼파라미터 gamma가 보정 강도를 제어하며 학습 데이터를 사용해 견고하게 조정될 수 있다.
• 다른 사후 보정 방법과 비교하여 NorCal은 하나의 하이퍼 파라미터와 명시적 점수 정규화를 통해 더 큰 이득을 얻는다.
• NorCal은 AP와 AP Fixed 지표를 모두 향상시켜, 자주 등장하는 클래스의 성능을 희생시키지 않으면서 각 클래스 내 순위가 개선됨을 시사한다.