[논문 리뷰] Exploring Classification Equilibrium in Long-Tailed Object Detection

Chengjian Feng, Yujie Zhong외 1명|arXiv (Cornell University)|2021. 08. 17.

Advanced Neural Network Applications참고 문헌 1인용 수 6

한 줄 요약

이 논문은 평균 분류 점수를 이용해 손실 조정과 특징 샘플링을 유도하여 분류 균형을 달성하는 새로운 방법인 LOCE를 제안한다. Equilibrium Loss (EBL)을 도입하여 성능이 열악한 클래스의 결정 경계 조정 강도를 동적으로 증가시키고, Memory-augmented Feature Sampling (MFS)을 통해 꼬리 클래스의 특징 재사용과 학습 빈도를 향상시킨다. 이로 인해 LVIS에서 꼬리 클래스에서 15.6 AP 향상이 이루어졌고, 최신 기술 성능을 달성하였다.

ABSTRACT

The conventional detectors tend to make imbalanced classification and suffer performance drop, when the distribution of the training data is severely skewed. In this paper, we propose to use the mean classification score to indicate the classification accuracy for each category during training. Based on this indicator, we balance the classification via an Equilibrium Loss (EBL) and a Memory-augmented Feature Sampling (MFS) method. Specifically, EBL increases the intensity of the adjustment of the decision boundary for the weak classes by a designed score-guided loss margin between any two classes. On the other hand, MFS improves the frequency and accuracy of the adjustment of the decision boundary for the weak classes through over-sampling the instance features of those classes. Therefore, EBL and MFS work collaboratively for finding the classification equilibrium in long-tailed detection, and dramatically improve the performance of tail classes while maintaining or even improving the performance of head classes. We conduct experiments on LVIS using Mask R-CNN with various backbones including ResNet-50-FPN and ResNet-101-FPN to show the superiority of the proposed method. It improves the detection performance of tail classes by 15.6 AP, and outperforms the most recent long-tailed object detectors by more than 1 AP. Code is available at https://github.com/fcjian/LOCE.

연구 동기 및 목표

• 헤드 클래스가 지배하고 꼬리 클래스가 부족한 장꼬리 객체 검출에서의 성능 저하 문제를 해결한다.
• 기존의 재샘플링 및 재가중 기법들이 모델에 종속되지 않고 하이퍼파라미터에 민감한 점을 극복한다.
• 실시간 모델 피드백을 이용해 학습 진행 상황을 동적으로 균형 잡아 헤드 클래스와 꼬리 클래스 양쪽의 분류 정확도를 향상시킨다.
• 데이터셋 통계나 고정된 샘플링 비율에만 의존하지 않고 클래스별 학습 상태에 적응하는 방법을 개발한다.

제안 방법

• 학습 중 평균 분류 점수를 각 카테고리의 분류 정확도와 학습 상태를 나타내는 실시간 지표로 사용한다.
• 약한(낮은 점수) 클래스의 결정 경계 조정 강도를 높이기 위해 점수 유도 손실 마진을 갖춘 Equilibrium Loss (EBL)을 설계한다.
• 모델에 종속되지 않은 박스 생성기에서 유도된 조밀한 인스턴스 특징을 저장하고 재사용할 수 있도록 Memory-augmented Feature Sampling (MFS)을 구현한다.
• 낮은 점수(꼬리) 카테고리의 특징을 비율적으로 과도하게 샘플링하여, 부족한 클래스의 학습 빈도와 정확도를 향상시킨다.
• EBL과 MFS를 결합하여 결정 경계 조정의 강도와 빈도를 동시에 균형 잡아 분류 균형을 달성한다.
• LVIS 벤치마크에서 평가하기 위해 표준 Mask R-CNN 프레임워크에 통합하였으며, ResNet-50-FPN 및 ResNet-101-FPN를 사용하였다.

실험 결과

연구 질문

• RQ1 학습 중 평균 분류 점수가 장꼬리 검출에서 분류 정확도의 효과적이고 동적인 지표로 기능할 수 있는가?
• RQ2 데이터셋 기반 또는 고정 마진 접근 방식에 비해 점수 유도 손실 마진이 성능이 열악한(꼬리) 클래스의 결정 경계 조정을 향상시키는가?
• RQ3 메모리 보강형 특징 샘플링이 과적합 없이 꼬리 클래스의 학습 업데이트 빈도와 품질을 향상시킬 수 있는가?
• RQ4 EBL과 MFS를 함께 사용할 경우, 특히 꼬리 클래스에서 전체 클래스 그룹의 성능을 얼마나 향상시킬 수 있으며, 헤드 클래스 성능는 유지되는가?
• RQ5 장꼬리 분포에 대한 탄력성과 AP 향상 측면에서 최신 기술 대비 제안된 방법은 어떻게 비교되는가?

주요 결과

• LOCE는 LVIS v1.0에서 기본 Mask R-CNN 대비 꼬리 클래스에서 15.6 AP 향상을 달성하여 이전 방법들을 크게 능가한다.
• ResNet-101-FPN를 사용한 LVIS v1.0에서 LOCE는 29.0 AP를 기록하여 Seesaw Loss 및 EQL v2를 포함한 이전 최고 성능 기법들보다 1 AP 이상 뛰어나다.
• 점수 유도 접근 방식이 데이터셋 기반 기반선보다 우수하며, 이는 헤드 클래스를 과소 대응시켜 성능 저하를 초래함에도 불구하고 희귀 클래스 AP 향상을 달성한다.
• LOCE는 꼬리 클래스 탐지 성능을 크게 향상시키는 동시에 헤드 클래스 성능을 유지하거나 향상시켜 효과적인 분류 균형 달성을 입증한다.
• 하이퍼파라미터 선택에 대해 강건하며, 점수 스무딩에 α=0.9, 마진 초기화에 ĥsC+1=0.01에서 최적 성능를 기록한다.
• 제거 실험을 통해 EBL과 MFS가 성능 향상에 기여하며, MFS는 특징 샘플링 빈도를 향상시키고 EBL은 약한 클래스의 결정 경계 조정 강도를 증가시킴을 확인하였다.