[논문 리뷰] DEYOv2: Rank Feature with Greedy Matching for End-to-End Object Detection

Haodong Ouyang|arXiv (Cornell University)|2023. 06. 15.

Advanced Neural Network Applications인용 수 5

한 줄 요약

DEYOv2는 NMS에 의존하지 않도록 하는 데 중점을 두고 Rank Feature와 Greedy Matching을 도입한 새로운 엔드 투 엔드 객체 검출기로, 세 단계에 걸친 효율적이고 점진적인 최적화를 가능하게 한다. ResNet-50를 사용하여 COCO에서 각각 12 및 24 에포크에서 51.1 AP와 51.8 AP를 달성하며, 동일한 설정에서 DINO를 2.1 및 1.4 AP만큼 앞서며 우수한 성능을 발휘한다.

ABSTRACT

This paper presents a novel object detector called DEYOv2, an improved version of the first-generation DEYO (DETR with YOLO) model. DEYOv2, similar to its predecessor, DEYOv2 employs a progressive reasoning approach to accelerate model training and enhance performance. The study delves into the limitations of one-to-one matching in optimization and proposes solutions to effectively address the issue, such as Rank Feature and Greedy Matching. This approach enables the third stage of DEYOv2 to maximize information acquisition from the first and second stages without needing NMS, achieving end-to-end optimization. By combining dense queries, sparse queries, one-to-many matching, and one-to-one matching, DEYOv2 leverages the advantages of each method. It outperforms all existing query-based end-to-end detectors under the same settings. When using ResNet-50 as the backbone and multi-scale features on the COCO dataset, DEYOv2 achieves 51.1 AP and 51.8 AP in 12 and 24 epochs, respectively. Compared to the end-to-end model DINO, DEYOv2 provides significant performance gains of 2.1 AP and 1.4 AP in the two epoch settings. To the best of our knowledge, DEYOv2 is the first fully end-to-end object detector that combines the respective strengths of classical detectors and query-based detectors.

연구 동기 및 목표

• 엔드 투 엔드 객체 검출에서 비최대 억제(NMS)에 의존하는 것을 제거하여 학습 안정성과 엔드 투 엔드 최적화를 향상시키는 것.
• 밀도 높고 중복적인 제안을 다룰 때 쿼리 기반 검출기에서의 일대일 레이블 할당의 낮은 일반화 능력과 학습 불안정성을 해결하는 것.
• 기존 검출기(예: YOLO)와 쿼리 기반 검출기(예: DETR)의 장점을 통합한 유일한 엔드 투 엔드 프레임워크를 구축하는 것.
• 단계 간 정보 전달을 통해 점진적인 추론 파이프라인을 도입하고, 이를 통해 학습 수렴성과 성능을 향상시키는 것.

제안 방법

• 세 단계 검출 파이프라인 도입: 1단계는 YOLO 유사 헤드 예측에서 고품질의 밀도 높은 쿼리를 생성한다.
• 2단계는 게으른 매칭을 활용해 제안의 점수 간격을 확보하여 NMS 없이도 중복 박자를 효과적으로 걸러내는 데 기여한다.
• 3단계는 랭크 페처를 활용해 특징 표현을 향상시키고 이전 단계로부터의 정보 흐름을 최대화하여 엔드 투 엔드 최적화를 가능하게 한다.
• 밀도 높은 쿼리(1단계), 희소 쿼리(3단계), 일대다 매칭을 조합한 하이브리드 쿼리 전략을 도입하여 강건성과 정확도를 향상시킨다.
• 모든 단계에서 공통된 백본을 사용하여 특징 일관성을 유지하고 효율성을 향상시킨다.
• 최종 단계에서는 한 명의 쿼리에 하나의 박자로 매칭하는 허그리건 손실을 사용하지만, 이전 단계에서 쿼리 필터링과 점수 분리가 보장되어 있어 NMS가 필요 없다.

실험 결과

연구 질문

• RQ1 NMS에 의존하지 않으면서도 성능을 유지하거나 향상시킬 수 있는 완전한 엔드 투 엔드 객체 검출기가 설계될 수 있는가?
• RQ2 밀도 높고 중복적인 제안을 다룰 때 트랜스포머 기반 검출기에서의 일대일 레이블 할당이 어떻게 안정화될 수 있는가?
• RQ3 기존 검출기(예: YOLO)와 쿼리 기반 검출기(예: DETR)의 장점을 통합한 단일 통합 프레임워크에서 효과적으로 기능할 수 있는가?
• RQ4 후처리 또는 NMS 없이도 단계 간 점진적인 정보 전달을 유도할 수 있는 메커니즘은 무엇인가?
• RQ5 게으른 매칭과 랭크 페처는 엔드 투 엔드 검출에서 학습 안정성과 최종 검출 정확도를 어떻게 향상시키는가?

주요 결과

• DEYOv2는 동일한 설정에서 ResNet-50를 사용하여 각각 12 및 24 에포크에서 COCO에서 51.1 AP와 51.8 AP를 달성한다.
• 12- 및 24-에포크 설정에서 DINO를 각각 2.1 AP와 1.4 AP만큼 앞서며, 더 빠른 수렴성과 뛰어난 성능을 입증한다.
• 모델은 완전히 NMS가 필요 없으며, 엔드 투 엔드 최적화 성질을 유지하고 후처리로 인한 정보 손실을 방지한다.
• 제거 분석 결과, 랭크 페처와 게으른 매칭이 특히 높은 제안 밀도 조건에서 학습 안정성과 성능 향상에 크게 기여한다는 것이 확인되었다.
• 세 단계 파이프라인이 밀도 높은 쿼리에서 희소 쿼리로 정보를 효과적으로 전달하여 중간 필터링 없이 고품질 검출을 가능하게 한다.
• 이 모델은 NMS와 같은 수작업 구성 요소에 의존하지 않고도 고전적 검출기와 쿼리 기반 검출기의 장점을 효과적으로 통합한 최초의 완전한 엔드 투 엔드 검출기이다.