[논문 리뷰] Equalized Focal Loss for Dense Long-Tailed Object Detection

Bo Li, Yongqiang Yao외 5명|arXiv (Cornell University)|2022. 01. 07.

Advanced Neural Network Applications인용 수 4

한 줄 요약

이 논문은 한 단계 객체 검출기에서 배경-전경 및 장테일 카테고리 불균형을 동시에 해결하기 위해 카테고리별 불균형 정도에 따라 조절 인자를 동적으로 조정하는 새로운 손실 함수인 Equalized Focal Loss (EFL)를 제안한다. EFL는 LVIS v1에서 29.2% AP를 달성하여 한 단계 장테일 검출 분야에서 새로운 최고 성능을 기록하였으며, OpenImages에서도 강력한 일반화 성능을 보였다.

ABSTRACT

Despite the recent success of long-tailed object detection, almost all long-tailed object detectors are developed based on the two-stage paradigm. In practice, one-stage detectors are more prevalent in the industry because they have a simple and fast pipeline that is easy to deploy. However, in the long-tailed scenario, this line of work has not been explored so far. In this paper, we investigate whether one-stage detectors can perform well in this case. We discover the primary obstacle that prevents one-stage detectors from achieving excellent performance is: categories suffer from different degrees of positive-negative imbalance problems under the long-tailed data distribution. The conventional focal loss balances the training process with the same modulating factor for all categories, thus failing to handle the long-tailed problem. To address this issue, we propose the Equalized Focal Loss (EFL) that rebalances the loss contribution of positive and negative samples of different categories independently according to their imbalance degrees. Specifically, EFL adopts a category-relevant modulating factor which can be adjusted dynamically by the training status of different categories. Extensive experiments conducted on the challenging LVIS v1 benchmark demonstrate the effectiveness of our proposed method. With an end-to-end training pipeline, EFL achieves 29.2% in terms of overall AP and obtains significant performance improvements on rare categories, surpassing all existing state-of-the-art methods. The code is available at https://github.com/ModelTC/EOD.

연구 동기 및 목표

• 효율성 측면에서 산업적으로 선호되는 한 단계 검출기의 장테일 환경에서의 적용 가능성과 성능을 탐구한다. 이는 기존에 두 단계 검출기 대비 다루어지지 않은 분야이지만 중요성이 높다.
• 장테일 데이터 분포 하에서 한 단계 검출기의 성능 저하 원인을 규명한다: 데이터 분포 기울임으로 인해 카테고리 간 양성-음성 불균형이 일관되지 않기 때문이다.
• 한 단계 검출기에서 전경-배경 불균형과 카테고리 간 불균형을 동시에 완화할 수 있는 통합된 손실 함수를 제안한다.
• EFL가 데이터 분포 사전 지식 없이도 다양한 백본 및 데이터셋(예: LVIS v1, OpenImages)에서 잘 일반화됨을 입증한다.

제안 방법

• EFL는 각 카테고리의 학습 상태와 불균형 정도에 기반해 동적으로 조정되는 두 개의 분리된 동적 성분인 집중 인자와 가중치 인자를 조합한 카테고리 관련 조절 인자를 도입한다.
• 집중 인자는 카테고리별 불균형 수준에 따라 포화 손실의 지수 항을 조정함으로써 희귀 카테고리의 어려운 양성 샘플에 더 많은 주의를 기울인다.
• 가중치 인자는 희귀 카테고리의 손실 기여도를 증폭시켜 학습 중에 빈도가 높은 카테고리에 의해 그 기여도가 압도당하는 것을 방지한다.
• 조절 인자는 학습 중에 동적으로 계산되며, 사전에 계산된 클래스 빈도나 데이터 통계가 필요 없이 적응형 손실 재가중을 가능하게 한다.
• EFL는 표준 포화 손실의 플러그인 대체품으로 설계되어, 어떤 한 단계 검출기 아키텍처와도 호환된다.
• 방법론은 COCO 및 LVIS v1에서 ResNet-50 기반의 개선된 베이스라인을 사용하여 평가되었으며, 표준 학습 스케줄과 샘플러를 활용해 분포 무관 성능을 검증하였다.

실험 결과

연구 질문

• RQ1 두 단계 방법에 비해 다루어지지 않은 한 단계 검출기의 경우, 장테일 객체 검출에서 최고 성능을 달성할 수 있는가?
• RQ2 표준 포화 손실 및 기존 재가중 기법이 장테일 데이터 분포 하에서 한 단계 검출기에서 효과적으로 일반화되지 않는 이유는 무엇인가?
• RQ3 한 번의 손실 함수로 한 단계 검출기에서 전경-배경 불균형과 카테고리 간 불균형을 동시에 해결할 수 있는가?
• RQ4 제안된 EFL는 희귀 카테고리 성능을 향상시키지만 일반 카테고리 성능을 떨어뜨리지 않고 어느 정도 향상되는가?
• RQ5 EFL는 균형 잡힌 설정과 장테일 설정을 포함한 다양한 데이터 분포 및 학습 프로토콜에서 강력한 성능을 유지하는가?

주요 결과

• EFL는 LVIS v1 벤치마크에서 29.2% AP를 달성하여 장테일 객체 검출 분야에서 기존 모든 최고 성능 기록을 초월하였다.
• 희귀 카테고리의 성능 향상이著명하며, 소형 객체(AP_s)와 대형 객체(AP_l) 모두에서 뚜렷한 성능 향상이 나타나 스케일 간 강건성을 입증하였다.
• 균형 잡힌 클래스 분포를 가진 COCO 데이터셋에서 EFL는 표준 포화 손실과 유사한 성능(42.3% AP)을 달성하여 균형 잡힌 데이터와의 호환성을 확인하였다.
• 도함수 분석 결과, EFL는 불균형이 심해질수록 희귀 카테고리의 어려운 샘플에서 기울기 기여도를 증가시키며, 기울기 경향이 더 급격해지는 것으로 나타났다.
• EFL는 OpenImages로의 일반화 성능이 뛰어나 다양한 데이터셋과 데이터 분포 간 이식성과 강건성을 입증하였다.
• 제거 실험 결과, 동적이고 카테고리별로 특화된 조절 인자가 필수적임을 확인하였으며, 정적 또는 공유되는 인자는 유사한 성능 향상을 달성하지 못하였다.