[논문 리뷰] Equalization Loss for Long-Tailed Object Recognition

Jingru Tan, Changbao Wang외 5명|arXiv (Cornell University)|2020. 03. 11.

Advanced Neural Network Applications참고 문헌 50인용 수 24

한 줄 요약

이 논문은 장기적 분포에서 희귀 카테고리의 기울기 불균형 문제를 완화하기 위해 백프로파게이션 중 희귀 카테고리의 부정 샘플에서 오는 자극을 억제함으로써 기울기 불균형을 완화하는 새로운 학습 목표인 Equalization Loss(EQL)를 제안한다. 꼬리 클래스에 대한 이러한 기울기를 忽略함으로써 EQL은 더 균형 잡힌 학습을 가능하게 하여 LVIS에서 Mask R-CNN 기준선 대비 희귀 카테고리에서 4.1% 및 일반 카테고리에서 4.8%의 AP 향상을 이끌었으며, LVIS 챌린지 2019에서 1위를 차지했다.

ABSTRACT

Object recognition techniques using convolutional neural networks (CNN) have achieved great success. However, state-of-the-art object detection methods still perform poorly on large vocabulary and long-tailed datasets, e.g. LVIS. In this work, we analyze this problem from a novel perspective: each positive sample of one category can be seen as a negative sample for other categories, making the tail categories receive more discouraging gradients. Based on it, we propose a simple but effective loss, named equalization loss, to tackle the problem of long-tailed rare categories by simply ignoring those gradients for rare categories. The equalization loss protects the learning of rare categories from being at a disadvantage during the network parameter updating. Thus the model is capable of learning better discriminative features for objects of rare classes. Without any bells and whistles, our method achieves AP gains of 4.1% and 4.8% for the rare and common categories on the challenging LVIS benchmark, compared to the Mask R-CNN baseline. With the utilization of the effective equalization loss, we finally won the 1st place in the LVIS Challenge 2019. Code has been made available at: https: //github.com/tztztztztz/eql.detectron2

연구 동기 및 목표

• LVIS와 같은 장기적 분포 데이터셋에서 희귀 카테고리가 빈번한 카테고리에 의해 압도당하는 문제로 인해 객체 검출기가 성능이 떨어지는 것을 해결하기 위해.
• 이러한 실패의 근본 원인을 희귀 카테고리에서의 부정 샘플로부터 오는 과도한 자극 기울기로 인한 클래스 간 경쟁으로 분석하기 위해.
• 희귀 클래스에 대해 부정 기울기를 선택적으로 忽略함으로써 모든 카테고리 간 학습 역학을 균형 잡는 간단하면서도 효과적인 손실 함수를 제안하기 위해.
• 빈번한 카테고리에서의 성능을 떨어뜨리지 않으면서도 희귀 카테고리에서의 일반화 및 성능 향상을 위해.
• 장기적 분포 벤치마크에서 객체 검출, 인스턴스 세그멘테이션, 이미지 분류 등 다양한 작업에 걸쳐 방법을 검증하기 위해.

제안 방법

• 백프로파게이션 중 희귀 카테고리의 기여도를 감소시키기 위해 손실 함수에 클래스별 가중치 기반의 가중치 방식을 도입함으로써 부정 기울기의 기여도를 낮춘다.
• 핵심 아이디어는 희귀 카테고리의 분류기 가중치 업데이트 시 부정 샘플(즉, 다른 모든 카테고리 및 배경)에서 온 기울기를 忽略하는 것으로, 이는 희귀 카테고리가 억제당하는 것을 방지한다.
• 등차 손실는 클래스 빈도에 따라 변화하는 동적 가중치 요소를 포함한 수정된 크로스 엔트로피 손실로 정의되며, 저빈도 클래스에 대한 부정 샘플의 영향을 감소시킨다.
• 표준 학습 파ip라인과 호환되며, 아키텍처 변경 없이도 어떤 분류 헤드에도 적용 가능하다.
• 이 방법은 이미지 분류에 적합한 자가 정규화된 변형인 SEQL로 확장되었으며, ImageNet-LT와 같은 장기적 분포 데이터셋에서 성능을 더욱 향상시켰다.
• 최종 솔루션에서는 데이터 증강, 다중 해상도 테스트, 앙상블 전략과 함께 이 방법을 통합하였으며, 특히 LVIS 챌린지 2019에서 효과를 발휘했다.

실험 결과

연구 질문

• RQ1 최신 객체 검출기가 LVIS와 같은 장기적 분포 데이터셋에서 특히 희귀 카테고리에서 실패하는 이유는 무엇인가?
• RQ2 부정 샘플에서 오는 클래스 간 경쟁이 희귀 카테고리의 학습 역학에 어떤 영향을 미치는가?
• RQ3 백프로파게이션 중 기울기 흐름을 수정함으로써 희귀 카테고리의 인식 성능을 향상시킬 수 있는가?
• RQ4 희귀 카테고리에 대해 부정 샘플에서 오는 자극 기울기를 억제하면 빈번한 카테고리에서의 성능에 해를 끼치지 않고도 더 나은 일반화가 이루어지는가?
• RQ5 제안된 손실 함수는 객체 검출, 인스턴스 세그멘테이션, 이미지 분류와 같은 다양한 작업으로 일반화될 수 있는가?

주요 결과

• 제안된 Equalization Loss는 LVIS 벤치마크에서 Mask R-CNN 기준선 대비 희귀 카테고리에서 4.1% 및 일반 카테고리에서 4.8%의 AP 향상을 달성했다.
• 이 방법은 LVIS 챌린지 2019에서 1위를 차지했으며, 20,000개 테스트 세트에서 최종 Mask AP가 28.85로, 2위(26.67)와 3위(24.04)를 크게 앞서며 뚜렷한 성능 우위를 보였다.
• ImageNet-LT에서 EQL의 SEQL 변형은 36.44%의 Top-1 정확도를 기록하여 기존 방법들인 Focal Loss(30.5%)와 OLTR(35.6%)를 모두 앞섰다.
• 등차 손실는 그림 1에서 보듯이 희귀 카테고리의 부정 샘플 평균 기울기 노름을 효과적으로 감소시켜 더 균형 잡힌 학습 역학을 이끌어냈다.
• 그림 2의 시각화 결과는 EQL이 빈번한 카테고리에서의 성능을 떨어뜨리지 않으면서도 희귀 카테고리의 양성 제안에 대한 평균 예측 확률을 높임을 확인했다.
• 이 방법은 잘 일반화된다: 복잡한 아키텍처 수정 없이도 장기적 분포 데이터셋에서 객체 검출, 세그멘테이션, 분류 작업 전반에서 성능 향상을 이룬다.