[논문 리뷰] Unbalanced Optimal Transport: A Unified Framework for Object Detection

Henri De Plaen, Pierre-François De Plaen외 4명|arXiv (Cornell University)|2023. 07. 05.

Advanced Neural Network ApplicationsComputer Science인용 수 3

한 줄 요약

이 논문은 객체 검출 매칭 전략을 통합하는 데 사용할 수 있는 유일한 프레임워크로 비균형 최적 운반(UOT)을 제안한다. 이는 전통적인 전략들인 최근접 이웃, 투혼 매칭, 일대다 매칭을 모두 포함한다. 학습 가능한 제약 조건과 엔트로피 정규화를 도입함으로써 UOT는 COCO 및 합성 색상 상자 데이터셋에서 최신 기술 수준의 AP 및 AR를 달성하면서도 더 빠르고 안정적인 학습을 가능하게 하며, GPU에서 매우 높은 수준의 병렬 처리가 가능하다.

ABSTRACT

During training, supervised object detection tries to correctly match the predicted bounding boxes and associated classification scores to the ground truth. This is essential to determine which predictions are to be pushed towards which solutions, or to be discarded. Popular matching strategies include matching to the closest ground truth box (mostly used in combination with anchors), or matching via the Hungarian algorithm (mostly used in anchor-free methods). Each of these strategies comes with its own properties, underlying losses, and heuristics. We show how Unbalanced Optimal Transport unifies these different approaches and opens a whole continuum of methods in between. This allows for a finer selection of the desired properties. Experimentally, we show that training an object detection model with Unbalanced Optimal Transport is able to reach the state-of-the-art both in terms of Average Precision and Average Recall as well as to provide a faster initial convergence. The approach is well suited for GPU implementation, which proves to be an advantage for large-scale models.

연구 동기 및 목표

• 최근접 이웃, 투혼 매칭, 일대다 매칭 등 다양한 객체 검출 매칭 전략을 하나의 일관된 프레임워크로 통합하기.
• 기존 방법의 한계, 즉 중복, 유일성 부족, 느린 수렴, GPU 병렬 처리 성능 열 劣 등을 해결하기.
• 예측 및 진짜값 질량에 대한 조정 가능한 제약 조건을 통해 매칭 행동에 대한 세밀한 제어를 가능하게 하기.
• UOT 공식화에서의 정규화를 통해 학습 수렴 속도 향상과 최종 성능 향상을 도모하기.
• 대규모 객체 검출 모델을 위한 확장 가능하고 GPU 友好的한 UOT의 구현 제공하기.

제안 방법

• 예측에서 진짜값으로의 할당을 최소화하는 정규화된 운반 비용 기반으로 객체 검출 매칭을 비균형 최적 운반(UOT) 문제로 공식화한다.
• 두 가지 핵심 제약 조건을 도입한다: 예측 질량 제약(τ₁로 제어)과 진짜값 질량 제약(τ₂로 제어)으로, 이는 다양한 매칭 제도 간의 보간을 가능하게 한다.
• 엔트로피 정규화(ε)를 활용하여 가속화되고, 미분 가능하며 GPU 병렬 처리가 가능한 싱크호른 반복을 실현한다.
• 예측 상자와 진짜값 상자 간의 비용 행렬로 1 - GIoU를 사용하며, 배경 비용(c∅)은 0.8로 설정한다.
• 학습 파이프라인에서 수동으로 설정된 매칭 히وري스틱을 대체하기 위해 UOT 해를 미분 가능한 매칭 레이어로 적용한다.
• 실제로는 수렴 속도가 매우 빠르고 추가 반복이 성능 향상에 미치는 기여가 급격히 감소하므로, 고정된 싱크호른 반복 수(예: 10–20회)를 사용한다.

(a) Image №163 from the VOC training dataset. The ground truth boxes are colored, and the predictions are outlined in black.

실험 결과

연구 질문

• RQ1 비균형 최적 운반은 다양한 객체 검출 매칭 전략을 하나의 연속적인 프레임워크로 통합할 수 있는가?
• RQ2 하이퍼파라미터 τ₁(예측 질량 제약 조건)과 τ₂(진짜값 질량 제약 조건)는 매칭 행동과 모델 성능에 어떤 영향을 미치는가?
• RQ3 기존의 표준 매칭 기반 모델 대비 UOT는 학습 수렴 속도와 최종 검출 정확도를 향상시키는가?
• RQ4 UOT는 대규모 객체 검출기에서 학습을 가속화하기 위해 GPU에서 효율적으로 구현될 수 있는가?
• RQ5 엔트로피 정규화와 싱크호른 반복 수는 최종 검출 지표에 어떤 영향을 미치는가?

주요 결과

• UOT는 COCO 데이터셋에서 최신 기술 수준의 평균 정밀도(AP)와 평균 재현율(AR)을 달성하여 기존 표준 기반 모델을 초월한다.
• 컬러 상자 데이터셋에서 τ₁ = 10 및 τ₂ = 0.01을 사용한 UOT는 NMS를 적용했을 때 47.8 AP와 63.8 AR을 기록했으며, NMS 없이도 45.0 AP와 72.6 AR을 달성했다.
• 균형 잡힌 UOT 케이스(τ₁ → ∞)에서 가장 높은 성능 기록: NMS 적용 시 48.1 AP와 64.3 AR을 기록하여, 균형 잡힌 질량 제약 조건이 정확도 향상에 기여함을 시사한다.
• UOT를 사용한 학습은 특히 DETR 기반 모델에서 투혼 매칭 대비 더 빠른 초기 수렴을 보였다.
• 싱크호른 반복 수는 10회를 초과하면 영향이 거의 없었으며, 성능이 매우 빨리 포화 상태에 도달했고, 10~20회 이후에는 극미미한 성능 향상만 있었다.
• GPU 기반 UOT는 SSD300에서 투혼 매칭 대비 학습 시간을 약 50% 감소시켰으며, 매칭 시간을 18.3ms에서 UOT를 사용해 1.5ms로 단축시켰다.

(b) Costs between the predictions and the ground truth ( $1-\mathrm{GIoU}$ ). The background cost is $c_{\varnothing}=0.8$ .