[논문 리뷰] Equalization Loss v2: A New Gradient Balance Approach for Long-tailed Object Detection

Jingru Tan, Xin Lu외 3명|arXiv (Cornell University)|2020. 12. 15.

Advanced Neural Network Applications참고 문헌 45인용 수 9

한 줄 요약

이 논문은 장수체 객체 검출을 위한 엔드 투 엔드 훈련 중 양성 및 음성 기울기 간의 동적 균형을 도모하는 새로운 기울기 유도 재가중 메커니즘인 Equalization Loss v2(EQL v2)를 제안한다. 카테고리별로 기울기 비율을 균형 잡음으로써 EQL v2는 LVIS 및 Open Images에서 최신 기준 성능을 달성하며, 엔드 투 엔드 및 분리 훈련 방법을 모두 초월하여 4–7.3 AP 향상을 이룩했으며, 특히 희귀 카테고리의 AP를 17–22 포인트 향상시켰다.

ABSTRACT

Recently proposed decoupled training methods emerge as a dominant paradigm for long-tailed object detection. But they require an extra fine-tuning stage, and the disjointed optimization of representation and classifier might lead to suboptimal results. However, end-to-end training methods, like equalization loss (EQL), still perform worse than decoupled training methods. In this paper, we reveal the main issue in long-tailed object detection is the imbalanced gradients between positives and negatives, and find that EQL does not solve it well. To address the problem of imbalanced gradients, we introduce a new version of equalization loss, called equalization loss v2 (EQL v2), a novel gradient guided reweighing mechanism that re-balances the training process for each category independently and equally. Extensive experiments are performed on the challenging LVIS benchmark. EQL v2 outperforms origin EQL by about 4 points overall AP with 14-18 points improvements on the rare categories. More importantly, it also surpasses decoupled training methods. Without further tuning for the Open Images dataset, EQL v2 improves EQL by 7.3 points AP, showing strong generalization ability. Codes have been released at https://github.com/tztztztztz/eqlv2

연구 동기 및 목표

• 장수체 객체 검출에서 엔드 투 엔드 훈련과 분리 훈련 간의 지속적인 성능 격차를 해소한다.
• Equalization Loss(EQL)와 같은 기존 엔드 투 엔드 방법에서 발생하는 음성 및 양성 샘플 간의 기울기 불균형을 핵심 문제로 규명한다.
• 각 카테고리별로 독립적으로 훈련을 균형 잡는 기울기 유도 재가중 메커니즘을 개발하여 동일한 학습 효율성을 달성한다.
• 추가적인 정밀조정 단계 없이도 장수체 벤치마크에서 최신 기준 성능을 달성한다.
• 최소한의 하이퍼파라미터 조정으로 LVIS 및 Open Images와 같은 다양한 데이터셋에서 강력한 일반화 성능을 입증한다.

제안 방법

• 각 카테고리별로 독립적인 하위 작업으로 객체 검출을 모델링하여 카테고리별 기울기 균형 조절을 가능하게 한다.
• 훈련 중 카테고리별로 누적된 양성 대 음성 기울기 비율을 추적하는 기울기 비율 지표를 도입한다.
• 현재 기울기 비율에 기반하여 시그모이드 유사 매핑 함수를 적용해 양성 및 음성 기울기를 동적으로 재가중하며, 미흡한 학습을 받은 카테고리에 우선순위를 부여한다.
• 모든 카테고리에 동일한 단순한 재가중 규칙을 적용하여 동등한 대우와 안정적인 최적화를 보장한다.
• 재가중 메커니즘을 분류 손실에 직접 통합하여 추가 단계 없이 엔드 투 엔드 훈련을 가능하게 한다.
• 균형과 내성에 최적화하기 위해 하이퍼파라미터 μ(고기울기 비율 기준값)와 γ(불균형에 대한 민감도)를 조정한다.

Figure 1 : Visualization of accumulative gradients ratio of different trained models. Best view in color. The x-axis is the sorted category index of 1203 categories of LVIS dataset. The y-axis is the accumulative gradient ratio of positives to negatives. Here gradient is the gradient of the output l

실험 결과

연구 질문

• RQ1 왜 Equalization Loss(EQL)와 같은 기존 엔드 투 엔드 방법들은 장수체 검출에서 분리 훈련에 비해 여전히 성능이 열등한가?
• RQ2 장수체 환경에서 음성 및 양성 샘플 간의 기울기 불균형이 모델 학습에 어느 정도 영향을 미치는가?
• RQ3 동적이고 카테고리별 기반의 기울기 재가중 메커니즘은 추가적인 정밀조정 단계 없이 엔드 투 엔드 훈련을 향상시킬 수 있는가?
• RQ4 기울기 비율에 기반한 통합 재가중 규칙이 다양한 장수체 데이터셋에 걸쳐 더 나은 일반화 성능을 이끌 수 있는가?
• RQ5 엔드 투 엔드 방법이 장수체 객체 검출에서 분리 훈련 패러다임을 초월할 수 있는가?

주요 결과

• LVIS 벤치마크에서 EQL v2는 기준 모델 대비 총 AP를 6포인트 향상시키고, 원래 EQL 대비 4포인트 향상시켰으며, 희귀 카테고리에서는 17–20포인트의 향상을 기록했다.
• Open Images에서 EQL v2는 52.6 mAP를 달성하여 기준 모델 대비 9.5포인트 향상되었고, EQL 대비 7.3포인트 향상되었으며, 가장 희귀한 카테고리 그룹에서는 22.3포인트의 향상을 기록했다.
• EQL v2는 도전적인 LVIS 데이터셋에서 기존의 모든 방법, 포함하여 최신 기준의 분리 훈련 접근 방식을 모두 능가했다.
• 모델는 강력한 일반화 성능 유지를 보였으며, 동일한 하이퍼파라미터를 사용해 LVIS에서 훈련된 설정을 ResNet-101 백본으로 Open Images에 적용했을 때 55.6 mAP를 기록했다.
• 제거 실험 결과 μ = 0.9 및 γ = 12가 최적의 균형을 이끌어내며, 더 높은 μ 값은 성능 향상에 기여하고, γ는 합리적인 범위 내에서 안정적임을 확인했다.
• 기울기 비율 시각화 결과 EQL v2가 기준 모델이나 EQL에 비해 카테고리 간에 훨씬 더 균형 잡힌 기울기 분포를 달성했으며, 특히 희귀 클래스에서 두드러진 성능 향상을 보였다.

Figure 2 : The accumulated gradients ratio of positives to negatives. Models are trained with total 75k iterations. We show the values at different training iteration. We compare the accumulated gradients of two models, Mask R-CNN with sigmoid loss and EQL v2.