[논문 리뷰] DR Loss: Improving Object Detection by Distributional Ranking

Qi Qian, Lei Chen외 2명|arXiv (Cornell University)|2019. 07. 23.

Advanced Neural Network Applications참고 문헌 27인용 수 9

한 줄 요약

이 논문은 분포 순위 매칭(DR) 손실을 제안하며, 이는 분류 문제를 정규화된 후보자들 사이의 순위 매칭 문제로 전환함으로써 일단 단계 객체 검출 성능을 향상시키는 이미지 기반 손실 함수이다. 분포의 신뢰도 점수를 결정 경계에 가까이 몰아넣고 기대값을 순위 매김함으로써, DR 손실은 종류 간 및 종류 내 불균형을 모두 완화하며, 아키텍처 변경 없이 ResNet-101을 사용할 때 COCO에서 RetinaNet의 mAP를 39.1%에서 41.7%로 향상시킨다. 이는 포칼 손실을 능가한다.

ABSTRACT

Most of object detection algorithms can be categorized into two classes: two-stage detectors and one-stage detectors. Recently, many efforts have been devoted to one-stage detectors for the simple yet effective architecture. Different from two-stage detectors, one-stage detectors aim to identify foreground objects from all candidates in a single stage. This architecture is efficient but can suffer from the imbalance issue with respect to two aspects: the inter-class imbalance between the number of candidates from foreground and background classes and the intra-class imbalance in the hardness of background candidates, where only a few candidates are hard to be identified. In this work, we propose a novel distributional ranking (DR) loss to handle the challenge. For each image, we convert the classification problem to a ranking problem, which considers pairs of candidates within the image, to address the inter-class imbalance problem. Then, we push the distributions of confidence scores for foreground and background towards the decision boundary. After that, we optimize the rank of the expectations of derived distributions in lieu of original pairs. Our method not only mitigates the intra-class imbalance issue in background candidates but also improves the efficiency for the ranking algorithm. By merely replacing the focal loss in RetinaNet with the developed DR loss and applying ResNet-101 as the backbone, mAP of the single-scale test on COCO can be improved from 39.1% to 41.7% without bells and whistles, which demonstrates the effectiveness of the proposed loss function. Code is available at \url{https://github.com/idstcv/DR_loss}.

연구 동기 및 목표

• 일단 단계 객체 검출기에서 후보자 간 종류 간 불균형 문제를 해결하기 위해.
• 배경 후보자 내에서 몇몇만 어려운 분류 문제로 간주되는 종류 내 불균형 문제를 완화하기 위해.
• 전체 이미지 수준의 정보를 활용하여 더 나은 어려운 예제 순위 매칭을 위한 이미지 기반 손실 함수를 개발하기 위해.
• 개별 예제가 아닌 분포 기대값을 최적화함으로써 포칼 손실을 초월하는 검출 성능 향상시키기 위해.
• 아키텍처 변경 없이 최소한의 수정으로 최신 기술 성능을 달성하기 위해, RetinaNet의 분류 손실만 교체함으로써.

제안 방법

• 각 이미지 내에서 객체 검출 분류 작업을 양자간 순위 매칭 문제로 전환하여 양성 및 음성 쌍 간 균형을 맞추기 위해.
• 후보자들을 재가중하여 후보자들의 신뢰도 점수 분포가 결정 경계에 수렴하도록 유도하기 위해.
• 어려운 예제에 중점을 두는 제약 조건을 사용하여 원래 점수에서 새로운 분포를 유도하기 위해.
• 개별 쌍이 아닌 유도된 후보자 분포의 기대값을 순위 매김함으로써 계산 복잡도를 O(n²)에서 O(1)로 감소시키기 위해.
• 유도된 후보자 분포의 기대값 간 순위 마진을 최적화하여 일반화 성능 향상시키기 위해.
• 모든 다른 구성 요소와 학습 프로토콜을 유지하면서 DR 손실을 RetinaNet의 포칼 손실 대체로 적용하기 위해.

실험 결과

연구 질문

• RQ1 이미지 수준의 분포 기반 순위 매칭 손실 함수가 클래스 균형 샘플링이나 포칼 손실을 초월하여 객체 검출 성능 향상에 기여할 수 있는가?
• RQ2 전체 신뢰도 점수 분포를 고려하는 이미지 기반 손실이 어려운 음성 예제 처리에 어떤 영향을 미치는가?
• RQ3 DR 손실이 배경 후보자 내 종류 간 불균형을 어느 정도 감소시킬 수 있으며, mAP 유지를 또는 향상시키는가?
• RQ4 유도된 분포의 기대값을 최적화하는 것이 개별 예제 손실 최적화보다 더 나은 일반화 성능을 이끌 수 있는가?
• RQ5 아키텍처 변경 없이 추가 데이터 증강 없이 DR 손실이 최신 기술 성능을 달성할 수 있는가?

주요 결과

• ResNet-101을 백본으로 사용할 때, RetinaNet에서 포칼 손실을 DR 손실로 교체함으로써 COCO에서 mAP가 39.1%에서 41.7%로 향상되었으며, 추가 기능 없이도 성능 향상이 이루어졌다.
• DR 손실 하에서 후보자 신뢰도 분포의 기대값은 0.5를 초과하고, 배경 기대값은 0.1 이하로 떨어져 강력한 종류 간 분리가 이루어졌음을 시사한다.
• DR 손실 하에서 음성 앵커의 분포는 교차 엔트로피나 포칼 손실보다 더 균형 잡혀 있음을 보여주며, 어려운 음성 예제 처리가 향상되었음을 시사한다.
• ResNeXt-32x8d-101과 1.5배 학습 반복 횟수를 사용할 경우, DR. Retina는 43.1% mAP를 달성하여 확장성과 강건성을 입증하였다.
• 멀티스케일 테스트를 통해 ResNeXt-32x8d-101 기반으로 44.7% mAP로 성능이 향상되었으며, 표준 테스트 시점 증강과의 호환성을 보였다.
• 경험적 밀도 함수 그래프는 DR 손실이 후보자 분포를 크게 향상시키고 배경과의 겹침을 줄임으로써 종류 및 어려움 불균형을 균형 잡는 데 효과적임을 검증한다.