[논문 리뷰] Adaptive Class Suppression Loss for Long-Tail Object Detection

Tong Wang, Yousong Zhu외 4명|arXiv (Cornell University)|2021. 04. 02.

Domain Adaptation and Few-Shot Learning참고 문헌 36인용 수 4

한 줄 요약

이 논문은 통계 기반이 아니고 적응형인 손실 함수인 적응형 클래스 억제 손실(ACSL)을 제안한다. 이는 학습 상태에 따라 각 클래스별로 부정 기울기 억제를 동적으로 조정함으로써 장꼬리 객체 검출에서 클래스 불균형 문제를 완화한다. ACSL은 수동적인 헤드/테일 그룹화를 제거하고 희귀 및 의미적으로 유사한 카테고리의 분류 성능을 향상시키며, ResNet50-FPN를 사용할 때 LVIS와 Open Images에서 각각 5.18% 및 5.2%의 mAP 향상을 이끌어내어 최신 기준 성능을 달성한다.

ABSTRACT

To address the problem of long-tail distribution for the large vocabulary object detection task, existing methods usually divide the whole categories into several groups and treat each group with different strategies. These methods bring the following two problems. One is the training inconsistency between adjacent categories of similar sizes, and the other is that the learned model is lack of discrimination for tail categories which are semantically similar to some of the head categories. In this paper, we devise a novel Adaptive Class Suppression Loss (ACSL) to effectively tackle the above problems and improve the detection performance of tail categories. Specifically, we introduce a statistic-free perspective to analyze the long-tail distribution, breaking the limitation of manual grouping. According to this perspective, our ACSL adjusts the suppression gradients for each sample of each class adaptively, ensuring the training consistency and boosting the discrimination for rare categories. Extensive experiments on long-tail datasets LVIS and Open Images show that the our ACSL achieves 5.18% and 5.2% improvements with ResNet50-FPN, and sets a new state of the art. Code and models are available at https://github.com/CASIA-IVA-Lab/ACSL.

연구 동기 및 목표

• 인스턴스 빈도 기반으로 수동적인 카테고리 그룹화에 의존하는 기존 장꼬리 검출 방법의 한계를 해결한다.
• 유사한 인스턴스 수를 가졌지만 다른 그룹에 할당된 인접한 카테고리 간의 학습 일관성 문제를 해결한다.
• 시각적으로 유사하지만 빈도가 다른 테일 카테고리 간의 분류 기반 특징 학습을 향상시킨다.
• 통계 기반 손실을 도입함으로써 데이터 재샘플링이나 히우리스틱 하이퍼파라미터가 필요 없도록 하는 통계 기반이 아닌 적응형 학습 전략을 제안한다.
• 희귀 카테고리에 특히 유리한 일관된 성능 향상을 이끌어내며 헤드 클래스 성능을 손상시키지 않고 모든 카테고리에서 일관된 성능 향상을 달성한다.

제안 방법

• 모든 카테고리를 잠재적으로 희귀한 것으로 간주함으로써 장꼬리 분포에 대한 통계 기반 시각을 제안하여 임의의 헤드/테일 분할을 방지한다.
• 현재 학습 상태에 따라 각 클래스별로 부정 기울기 유량을 조절하는 적응형 기울기 억제 메커니즘을 설계한다.
• 각 클래스별로 학습 가능한 억제 요소를 도입하여 부정 기울기를 스케일링하여 테일 분류기의 과도한 억제를 방지한다.
• 기존 아키텍처와 원활하게 통합되도록 표준 Faster R-CNN 또는 RetinaNet 스타일의 디텍터 헤드 내부에 손실를 적용한다.
• 전반적인 억제 강도를 제어하기 위해 단일 하이퍼파rameter ξ를 사용하며, 검증 세트에서 경험적으로 튜닝한다.
• 표준 최적화를 사용해 엔드 투 엔드로 학습함으로써 모든 카테고리 간에 학습 다이내믹스를 자가 균형 조절할 수 있도록 한다.

실험 결과

연구 질문

• RQ1 장꼬리 검출에서 수동적인 카테고리 그룹화가 필요 없도록 하는 손실 함수를 설계할 수 있는가?
• RQ2 유사한 빈도를 가진 카테고리들이 다른 그룹에 할당되었을 때 발생하는 학습 일관성 문제를 어떻게 줄일 수 있는가?
• RQ3 시각적으로 유사하지만 빈도가 다른 카테고리 간의 분류 능력을 유지하거나 향상시킬 수 있는가?
• RQ4 학습 상태 인식 기반의 적응형 억제 메커니즘이 장꼬리 환경에서 고정 또는 그룹 기반 기울기 처리 방식보다 우월한가?
• RQ5 통계 기반이 아닌 손실이 데이터 재가중 또는 재샘플링 없이도 헤드 및 테일 카테고리 전반에서 일관된 성능 향상을 달성할 수 있는가?

주요 결과

• ResNet50-FPN를 사용할 때 LVIS 데이터셋에서 기준 모델 대비 5.18% 향상된 mAP 성능을 기록하며 새로운 최고 기록을 수립한다.
• Open Images에서 ResNet50-FPN를 사용할 때 기준 모델 대비 5.2% 향상된 mAP 성능을 기록했으며, ResNet152-FPN를 사용할 경우 62.8% mAP에 도달한다.
• '안면 마스크'와 '립스틱'과 같은 희귀 카테고리에서 각각 최대 63.1% 및 63.1%의 AP 향상을 기록하여 강력한 희귀 클래스 일반화 능력을 입증한다.
• 멀티스케일 테스팅을 적용한 결과 최고 성능 모델이 LVIS에서 29.47% mAP를 기록하여 Equalization Loss 및 BAGS를 크게 앞서며 성능을 뛰어넘는다.
• Open Images에서 Class Aware Sampling 및 Equalization Loss와 같은 이전 방법들을 뛰어넘어 61.70% AP를 기록한 반면 Equalization Loss는 57.83%에 머물렀다.
• 모든 카테고리에서 뛰어난 성능 유지를 보이며 헤드 클래스와 테일 클래스 모두에서 일관된 성능 향상을 기록함으로써 향상된 학습 일관성과 분류 능력을 입증한다.