[논문 리뷰] DATE: Dual Assignment for End-to-End Fully Convolutional Object Detection

Yiqun Chen, Qiang Chen외 2명|arXiv (Cornell University)|2022. 11. 25.

Advanced Neural Network Applications인용 수 5

한 줄 요약

이 논문은 일대일 할당 기반 엔드 투 엔드 검출기의 수렴 속도를 향상시키기 위해 추가적인 감독 신호를 제공하는 일대다 할당 브랜치를 함께 훈련하는 DATE(Dual Assignment for End-to-End Fully Convolutional Object Detection)를 제안한다. 이 방법은 훈련 오버헤드가 극히 적고 추론 비용이 없이도 더 빠른 수렴과 경쟁 가능한 성능을 달성한다. 36 에포크에서 FCOS(39.8 AP)를 능가하는 40.6 AP를 기록한다.

ABSTRACT

Fully convolutional detectors discard the one-to-many assignment and adopt a one-to-one assigning strategy to achieve end-to-end detection but suffer from the slow convergence issue. In this paper, we revisit these two assignment methods and find that bringing one-to-many assignment back to end-to-end fully convolutional detectors helps with model convergence. Based on this observation, we propose {\em extbf{D}ual extbf{A}ssignment} for end-to-end fully convolutional de extbf{TE}ction (DATE). Our method constructs two branches with one-to-many and one-to-one assignment during training and speeds up the convergence of the one-to-one assignment branch by providing more supervision signals. DATE only uses the branch with the one-to-one matching strategy for model inference, which doesn't bring inference overhead. Experimental results show that Dual Assignment gives nontrivial improvements and speeds up model convergence upon OneNet and DeFCN. Code: https://github.com/YiqunChen1999/date.

연구 동기 및 목표

• 일대일 할당이 제공하는 양의 양의 샘플과 약한 감독 신호로 인해 엔드 투 엔드 완전 컨볼루션 검출기의 수렴 속도가 느린 문제를 해결한다.
• NMS를 사용하지 않는 추론 성질을 해치지 않으면서도 훈련 중에 일대다 할당을 재도입하여 감독 신호를 강화한다.
• 추론 시에는 오직 일대일 할당 브랜치만 유지함으로써 런타임 오버헤드가 없는 경량 이중 브랜치 훈련 전략을 개발한다.
• 동일한 훈련 설정에서 NMS 기반 검출기(예: FCOS)와 동등하거나 그 이상의 성능을 달성한다.
• 제안된 방법이 네트워크 아키텍처와 독립적이며 다양한 백본 설계와 호환됨을 입증한다.

제안 방법

• 일대다 할당(감독용)과 일대일 할당(최종 추론용)을 사용하는 두 개의 병렬 브랜치를 훈련한다.
• 일대다 브랜치를 통해 훈련 중에 추가적인 분류 및 회귀 감독 신호를 제공함으로써 특징 추출기의 학습을 향상시킨다.
• 일대다 브랜치를 두 세 개의 컨볼루션 레이어(예: FCOS 기반)로 구성하여 추가 파라미터와 FLOPs를 최소화한다.
• 훈련 후 일대다 브랜치를 제거하고 오직 일대일 할당 브랜치만 사용하여 추론을 수행함으로써 엔드 투 엔드 및 NMS를 사용하지 않는 검출을 유지한다.
• 일대다 브랜치의 감독 강도를 조절하기 위해 하이퍼파라미터 λo2m를 사용하는 가중 손실 기반 설계를 적용한다.
• 선택적으로 서브넷워크를 분리(예: RetinaNet 스타일 브랜치)할 수 있으며, 이는 약간의 훈련 비용 증가를 감수하더라도 정확도 향상에 기여한다.

실험 결과

연구 질문

• RQ1 훈련 중에 일대다 할당을 재도입함으로써 일대일 할당 기반 엔드 투 엔드 검출기의 수렴 속도 향상이 가능한가?
• RQ2 일대다 할당에서 유도된 추가 감독 신호가 추론 비용을 증가시키지 않고도 성능 향상에 기여하는가?
• RQ3 이중 브랜치 훈련 전략이 표준 일대일 또는 일대다 기반 베이스라인 대비 최종 검출 정확도에 어떤 영향을 미치는가?
• RQ4 두 브랜치 간에 백본 서브넷워크를 공유할지 여부가 성능과 계산 비용에 어떤 영향을 미치는가?
• RQ5 제안된 방법이 동일한 훈련 설정에서 FCOS와 같은 NMS 기반 검출기와 비교해 경쟁적 또는 우수한 성능을 달성할 수 있는가?

주요 결과

• 12 에포크 후 DATE는 37.3 AP를 기록하며, FCOS(37.2 AP)와 OneNet(35.4 AP)를 초월하여 일대일 할당 기반에서 더 빠른 수렴을 입증한다.
• 36 에포크 후 DATE는 40.6 AP를 달성하여 FCOS(39.8 AP)를 능가하며, 장기 훈련에서도 지속적인 성능 향상을 보여준다.
• 일대다 브랜치는 일대일 브랜치의 최종 예측에 영향을 주지 않으며, AP는 NMS 없이 37.3, NMS와 함께 37.4로 유지되어 NMS를 사용하지 않는 추론이 그대로 유지됨을 확인한다.
• 일대다 브랜치 추가로 인해 파라미터는 0.2M(0.625%) 증가하고 FLOPs는 4 GFLOPs(1.99%) 증가하여 훈련 비용이 극히 낮다.
• 백본 서브넷워크를 공유하지 않는 RetinaNet 스타일의 일대다 브랜치를 사용할 경우 AP는 37.6으로 상승하지만, 추가 파라미터는 4.7M(14% 증가)와 FLOPs는 42% 증가하여 비용이 증가한다.
• 품질 측정 기준에 대해 강건함을 입증: POTO를 DETR의 비용 대체로 사용할 경우, 기준 OneNet의 성능은 36.1 AP에서 37.3 AP로 향상되며, 다양한 지표에서 일관된 성능 향상이 나타난다.