[논문 리뷰] LapNet : Automatic Balanced Loss and Optimal Assignment for Real-Time Dense Object Detection

Florian Chabot, Pham, Quoc-Cuong외 1명|arXiv (Cornell University)|2019. 11. 04.

Advanced Neural Network Applications참고 문헌 33인용 수 8

한 줄 요약

LapNet는 실시간 단일 단계 객체 검출기로, 각 객체에 대한 정규화된 오버랩(PONO)을 도입하여 안정적인 잠금 할당을 하고, 중복 객체 갈등을 해결하기 위한 모호성 관리 전략(AMS)을 통해 정확도와 학습 안정성을 향상시킨다. 실시간 검출기 중 최고 성능을 기록하며, 동일한 추론 속도로 COCO에서 YOLOv3보다 4.6 mAP 높은 성능(37.6 vs. 33.0)을 달성한다. 이는 DarkNet-53 백본을 사용한 결과이다.

ABSTRACT

Real-time single-stage object detectors based on deep learning still remain less accurate than more complex ones. The trade-off between model performance and computational speed is a major challenge. In this paper, we propose a new way to efficiently learn a single-shot detector which offers a very good compromise between these two objectives. To this end, we introduce LapNet, an anchor based detector, trained end-to-end without any sampling strategy. Our approach aims to overcome two important problems encountered in training an anchor based detector: (1) ambiguity in the assignment of anchor to ground truth and (2) class and object size imbalance. To address the first limitation, we propose a soft positive/negative anchor assignment procedure based on a new overlapping function called "Per-Object Normalized Overlap" (PONO). This soft assignment can be self-corrected by the network itself to avoid ambiguity between close objects. To cope with the second limitation, we propose to learn additional weights, that are not used at inference, to efficiently manage sample imbalance. These two contributions make the detector learning more generic whatever the training dataset. Various experiments show the effectiveness of the proposed approach.

연구 동기 및 목표

• 잠금 기반 객체 검출기의 한계, 특히 모호한 양성/음성 레이블 할당과 클래스/객체 크기 불균형 문제를 해결하기 위해.
• 수동 샘플링 히우리스틱을 제거하고 고정된 IoU 임계값에 대한 의존도를 줄이기 위한 학습 전략을 개발하기 위해.
• 샘플링 전략 없이도 엔드 투 엔드 학습이 가능하게 하면서도 실시간 추론 속도를 유지하기 위해.
• 밀도 높은 객체 검출 환경에서 소형 및 심한 가림을 겪는 객체의 검출 정확도를 향상시키기 위해.
• 추가 계산 비용 없이 클래스 대표성과 객체 크기를 고려한 일반적이고 자동적인 손실 균형 조정 메커니즘을 만들기 위해.

제안 방법

• 각 지도값에 대해 최소한 하나의 잠금이 PONO 값 1을 가지도록 보장하는 정규화된 오버랩 메트릭인 PONO(Per-Object Normalized Overlap)를 도입하여, 잠금 이산화에 대한 강건성을 향상시킨다.
• 학습 중에 다수의 객체와 겹치는 모호한 잠금을 동적으로 음성 레이블로 재할당하는 온라인 모호성 관리 전략(AMS)을 제안하여 모델 혼동을 방지한다.
• 추가 추론 비용 없이도 전경-배경, 클래스, 객체 크기 불균형을 균형 조절할 수 있는 자동이고 학습 가능한 손실 가중치 메커니즘을 설계한다.
• 샘플링 전략 없이 직접 각 잠금의 클래스 확률과 바운딩 박스 오프셋을 예측하는 엔코더-디코더 CNN 아키텍처를 엔드 투 엔드로 학습한다.
• PONO 점수 기반의 소프트 할당 메커니즘을 도입하여, 모호하거나 오버랩이 낮은 잠금에도 기울기 흐름을 허용한다.
• 다양한 객체 크기와 클래스 빈도에서 어려운 예제를 균형 조절하고 쉬운 음성 예제를 감소시키기 위해 적응형 가중치를 적용한 수정된 포칼 손실을 적용한다.

실험 결과

연구 질문

• RQ1 PONO와 같은 정규화된 오버랩 메트릭이 밀도 높은 객체 검출, 특히 소형 또는 겹치는 객체에서 잠금 할당의 강건성을 향상시킬 수 있는가?
• RQ2 온라인 모호성 해결 전략(AMS)이 다수의 지도값 객체와 겹치는 잠금을 처리할 때 모델 일반화에 기여하는가?
• RQ3 자동이고 학습 가능한 손실 가중치 조정이 수동 하이퍼파라미터 조정이나 샘플링 히우리스틱 없이도 클래스 및 객체 크기 불균형을 효과적으로 균형 조절할 수 있는가?
• RQ4 단일 단계 검출기가 실시간 추론 속도를 유지하면서도 최고 수준의 정확도를 달성할 수 있는 정도는 어느 정도인가?
• RQ5 제안된 학습 전략은 재학습이나 아키텍처 변경 없이 다양한 데이터셋과 백본 아키텍처에 일반화 가능한가?

주요 결과

• LapNet는 608×608 입력 해상도로 COCO test-dev 2017에서 37.6 mAP를 기록하며, 동일한 DarkNet-53 백본과 유사한 추론 시간을 사용한 YOLOv3(33.0 mAP)를 뛰어넘는다.
• 512×512 해상도에서 LapNet는 37.6 mAP를 기록하며, RetinaNet-500(32.5 mAP)을 초월하고 FCOS-800(41.0 mAP)보다 정확도는 낮지만 2.5배 빠른 속도를 기록한다.
• 더 가벼운 백본과 더 작은 입력 크기를 사용함에도 불구하고 LapNet는 RetinaNet-500보다 3.2 mAP 높고, FCOS-800보다 2.8 mAP 높은 성능을 기록한다.
• 제안된 PONO와 AMS 메커니즘은 특히 소형 및 겹치는 객체에서 임의의 양성 예측과 오진 예측을 크게 감소시킨다.
• 자동 손실 가중치 메커니즘은 클래스 및 크기 불균형을 효과적으로 균형 조절하여 샘플링 전략 없이도 더 안정적이고 정확한 학습을 가능하게 한다.
• LapNet는 COCO에서 실시간 단일 단계 검출기의 새로운 최고 기록을 수립하며, 고정밀도와 고속도를 동시에 달성할 수 있음을 입증한다.